python pandas dataframe 去重函數(shù)的具體使用
今天筆者想對(duì)pandas中的行進(jìn)行去重操作,找了好久,才找到相關(guān)的函數(shù)
先看一個(gè)小例子
from pandas import Series, DataFrame data = DataFrame({'k': [1, 1, 2, 2]}) print data IsDuplicated = data.duplicated() print IsDuplicated print type(IsDuplicated) data = data.drop_duplicates() print data
執(zhí)行結(jié)果是:
k
0 1
1 1
2 2
3 2
0 False
1 True
2 False
3 True
k
0 1
2 2
DataFrame的duplicated方法返回一個(gè)布爾型Series,表示各行是否重復(fù)行。
而 drop_duplicates方法,它用于返回一個(gè)移除了重復(fù)行的DataFrame
這兩個(gè)方法會(huì)判斷全部列,你也可以指定部分列進(jìn)行重復(fù)項(xiàng)判段。
drop_duplicates根據(jù)數(shù)據(jù)的不同情況及處理數(shù)據(jù)的不同需求,通常會(huì)分為兩種情況,一種是去除完全重復(fù)的行數(shù)據(jù),另一種是去除某幾列重復(fù)的行數(shù)據(jù),就這兩種情況可用下面的代碼進(jìn)行處理。
1. 去除完全重復(fù)的行數(shù)據(jù)
data.drop_duplicates(inplace=True)
2. 去除某幾列重復(fù)的行數(shù)據(jù)
data.drop_duplicates(subset=['A','B'],keep='first',inplace=True)
- subset: 列名,可選,默認(rèn)為None
- keep: {‘first', ‘last', False}, 默認(rèn)值 ‘first'
- first: 保留第一次出現(xiàn)的重復(fù)行,刪除后面的重復(fù)行。
- last: 刪除重復(fù)項(xiàng),除了最后一次出現(xiàn)。
- False: 刪除所有重復(fù)項(xiàng)。
- inplace:布爾值,默認(rèn)為False,是否直接在原數(shù)據(jù)上刪除重復(fù)項(xiàng)或刪除重復(fù)項(xiàng)后返回副本。(inplace=True表示直接在原來的DataFrame上刪除重復(fù)項(xiàng),而默認(rèn)值False表示生成一個(gè)副本。)
例如,希望對(duì)名字為k2的列進(jìn)行去重,
data.drop_duplicates(['k2'])
到此這篇關(guān)于python pandas dataframe 去重函數(shù)的具體使用的文章就介紹到這了,更多相關(guān)python pandas dataframe 去重函數(shù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- Python數(shù)據(jù)分析之?Pandas?Dataframe合并和去重操作
- Python Pandas實(shí)現(xiàn)DataFrame合并的圖文教程
- 關(guān)于python?DataFrame的合并方法總結(jié)
- python中DataFrame數(shù)據(jù)合并merge()和concat()方法詳解
- python pandas dataframe 按列或者按行合并的方法
- python之DataFrame實(shí)現(xiàn)excel合并單元格
- Python DataFrame使用drop_duplicates()函數(shù)去重(保留重復(fù)值,取重復(fù)值)
- Python Dataframe 指定多列去重、求差集的方法
- python Dataframe 合并與去重詳情
相關(guān)文章
Python統(tǒng)計(jì)列表中每個(gè)元素出現(xiàn)次數(shù)的4種實(shí)現(xiàn)
本文主要介紹了Python統(tǒng)計(jì)列表中每個(gè)元素出現(xiàn)次數(shù)的4種實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07python中關(guān)于os.path.pardir的一些坑
這篇文章主要介紹了python中關(guān)于os.path.pardir的一些坑及解決方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-09-09Python requests上傳文件實(shí)現(xiàn)步驟
這篇文章主要介紹了Python requests上傳文件實(shí)現(xiàn)步驟,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-09-09python3實(shí)現(xiàn)點(diǎn)餐系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了python3實(shí)現(xiàn)點(diǎn)餐系統(tǒng),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2019-01-01python的dataframe轉(zhuǎn)換為多維矩陣的方法
下面小編就為大家分享一篇python的dataframe轉(zhuǎn)換為多維矩陣的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-04-04Pandas?DataFrame數(shù)據(jù)修改值的方法
本文主要介紹了Pandas?DataFrame修改值,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2022-03-03django表單中的按鈕獲取數(shù)據(jù)的實(shí)例分析
在本篇文章里小編給大家詳解了關(guān)于django表單中的按鈕獲取數(shù)據(jù)的內(nèi)容,需要的朋友們可以參考下。2020-07-07