python pandas dataframe 去重函數的具體使用
今天筆者想對pandas中的行進行去重操作,找了好久,才找到相關的函數
先看一個小例子
from pandas import Series, DataFrame
data = DataFrame({'k': [1, 1, 2, 2]})
print data
IsDuplicated = data.duplicated()
print IsDuplicated
print type(IsDuplicated)
data = data.drop_duplicates()
print data
執(zhí)行結果是:
k
0 1
1 1
2 2
3 2
0 False
1 True
2 False
3 True
k
0 1
2 2
DataFrame的duplicated方法返回一個布爾型Series,表示各行是否重復行。
而 drop_duplicates方法,它用于返回一個移除了重復行的DataFrame
這兩個方法會判斷全部列,你也可以指定部分列進行重復項判段。
drop_duplicates根據數據的不同情況及處理數據的不同需求,通常會分為兩種情況,一種是去除完全重復的行數據,另一種是去除某幾列重復的行數據,就這兩種情況可用下面的代碼進行處理。
1. 去除完全重復的行數據
data.drop_duplicates(inplace=True)
2. 去除某幾列重復的行數據
data.drop_duplicates(subset=['A','B'],keep='first',inplace=True)
- subset: 列名,可選,默認為None
- keep: {‘first', ‘last', False}, 默認值 ‘first'
- first: 保留第一次出現的重復行,刪除后面的重復行。
- last: 刪除重復項,除了最后一次出現。
- False: 刪除所有重復項。
- inplace:布爾值,默認為False,是否直接在原數據上刪除重復項或刪除重復項后返回副本。(inplace=True表示直接在原來的DataFrame上刪除重復項,而默認值False表示生成一個副本。)
例如,希望對名字為k2的列進行去重,
data.drop_duplicates(['k2'])
到此這篇關于python pandas dataframe 去重函數的具體使用的文章就介紹到這了,更多相關python pandas dataframe 去重函數內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
Python統(tǒng)計列表中每個元素出現次數的4種實現
本文主要介紹了Python統(tǒng)計列表中每個元素出現次數的4種實現,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2023-07-07

