數(shù)據(jù)清洗

數(shù)據(jù)分析中，數(shù)據(jù)清洗是一個必備階段。數(shù)據(jù)分析所使用的數(shù)據(jù)一般都很龐大，致使數(shù)據(jù)不可避免的出現(xiàn)重復、缺失、格式錯誤等異常數(shù)據(jù)，如果忽視這些異常數(shù)據(jù)，可能導致分析結(jié)果的準確性。

用以下數(shù)據(jù)為例，進行講解數(shù)據(jù)清洗常用方式：

下面的操作只做示例，具體數(shù)據(jù)的清洗方式要根據(jù)數(shù)據(jù)特性進行選擇！

重復值處理

重復值處理，一般采用直接刪除重復值的方式。在pandas中，可以用duplicated函數(shù)進行查看和drop_duplicates函數(shù)刪除重復數(shù)據(jù)。

如下所示，可以通過duplicated函數(shù)查看重復的數(shù)據(jù):

需要刪除重復值時，可直接用drop_duplicates函數(shù)完成：

缺失值處理

缺失值與重復值一樣，都是數(shù)據(jù)中比較常見的問題，必須進行處理才能進行下一步分析，保證分析的準確性。缺失值在數(shù)據(jù)中一般用NaN表示，在處理缺失值時，一般采用刪除和填補方式進行處理。但在實際中，缺失值的處理是一件非常困難的事情，刪除和填補方式都無法解決，最后只能留著。

在pandas中，其有多種方式查看和處理缺失值的方法。

查看缺失值

最為基礎的可以通過isnull和notnul，或者info函數(shù)來實現(xiàn)。

用info函數(shù)可以很清楚的知道每一列的缺失值情況，進而做出判斷處理：

isnull函數(shù)為判斷序列元素是否為缺失，notnul函數(shù)判斷序列元素是否不為缺失，二者在本質(zhì)上是一樣的。而二者在數(shù)據(jù)量龐大時，效果很差。所以一般不會單獨使用，而是配合其它方法進行使用。

查看某列缺失值所在的行：

isnull函數(shù)配合sum函數(shù)計算每列缺失值的個數(shù)：

在多數(shù)查看缺失值中，經(jīng)常會采用計算缺失值在列中占比的方式，判斷缺失對數(shù)據(jù)具有多大的影響，從而選擇是刪除數(shù)據(jù)還是填補數(shù)據(jù)。計算占比可使用以下方式：

df.apply(lambda x: x.isnull().sum()/x.size)

x.size為各個數(shù)據(jù)列總行數(shù)：

缺失值刪除

刪除缺失值的情形，一般是在不會影響分析結(jié)果、造成的影響無傷大雅，或者難以填補的時候采用。

在pandas中，可以直接用dropna函數(shù)進行刪除所有含有缺失值的行，或者選擇性刪除含有缺失值到的行：

缺失值填補

在無法直接刪除缺失值時，或者包含缺失值的行具有很多而無法選擇性刪除時，填補是最佳的選擇，但填補的方式要根據(jù)數(shù)據(jù)來選擇，否則填補的數(shù)據(jù)依然會影響分析的準確性。

在pandas中，可以使用fillna函數(shù)完成對缺失值的填補，例如對表中的體重列進行填補，填補方法為中位數(shù)：

或者用平均值填補：

也可以用pandas中的ffill函數(shù)對缺失值進行前向填補，但在前向填補時需要注意各個列數(shù)據(jù)的情況：

但可以看到，體重列的第一行未填補完成，而pandas中提供了bfill函數(shù)進行后向填補：

數(shù)據(jù)類型轉(zhuǎn)換

數(shù)據(jù)類型關(guān)乎后面的數(shù)據(jù)處理和數(shù)據(jù)可視化，不同的數(shù)據(jù)類型處理和進行可視化的用法都不一樣，因此，事先把數(shù)據(jù)的類型轉(zhuǎn)換好，利于后面的相關(guān)步驟。

在pandas中，可以用info和dtypes方法進行查看數(shù)據(jù)類型:

常用的數(shù)據(jù)類型包括str（字符型）、float（浮點型）和int（整型）。當某列數(shù)據(jù)的類型出現(xiàn)錯誤時，可通過astype函數(shù)進行強制轉(zhuǎn)換數(shù)據(jù)類型。

例如下面通過astype函數(shù)對數(shù)值型列轉(zhuǎn)換為字符型：

文本處理

在數(shù)據(jù)中，文本在某種程度上可以說是最‘臟’的數(shù)據(jù)，不管在錄入的數(shù)據(jù)，還是爬取的數(shù)據(jù)，總會出現(xiàn)各種各樣的‘臟’數(shù)據(jù)，處理難度非常高。在處理中，主要是切分字符串、值替換。

pandas提供了df.str.split.str()方法對字符串的切割，以下通過此方法獲得地級市名稱：

對于一些多數(shù)詞，可以通過df.str.replace()方法進行增加、替換或者刪除：

到此這篇關(guān)于用Python進行數(shù)據(jù)清洗以及值處理的文章就介紹到這了,更多相關(guān)Python進行數(shù)據(jù)清洗內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論