快捷導(dǎo)航

pandas中的數(shù)據(jù)去重處理的實(shí)現(xiàn)方法

更新時(shí)間：2020年02月10日 10:35:05 作者：我是小螞蟻

這篇文章主要介紹了pandas中的數(shù)據(jù)去重處理的實(shí)現(xiàn)方法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

數(shù)據(jù)去重可以使用duplicated()和drop_duplicates()兩個(gè)方法。

DataFrame.duplicated（subset = None，keep =‘first' ）返回boolean Series表示重復(fù)行

參數(shù)：
subset：列標(biāo)簽或標(biāo)簽序列，可選
僅考慮用于標(biāo)識(shí)重復(fù)項(xiàng)的某些列，默認(rèn)情況下使用所有列
keep：{‘first'，‘last'，F(xiàn)alse}，默認(rèn)'first'

first：標(biāo)記重復(fù)，True除了第一次出現(xiàn)。
last：標(biāo)記重復(fù)，True除了最后一次出現(xiàn)。
錯(cuò)誤：將所有重復(fù)項(xiàng)標(biāo)記為True。

import numpy as np
import pandas as pd
from pandas import Series, DataFrame

df = pd.read_csv('./demo_duplicate.csv')
print(df)
print(df['Seqno'].unique()) # [0. 1.]

# 使用duplicated 查看 重復(fù)值
# 參數(shù) keep 可以標(biāo)記重復(fù)值 {'first'，'last'，F(xiàn)alse}
print(df['Seqno'].duplicated())
'''
0  False
1   True
2   True
3   True
4  False
Name: Seqno, dtype: bool
'''

# 刪除 series 重復(fù)數(shù)據(jù)
print(df['Seqno'].drop_duplicates())
'''
0  0.0
4  1.0
Name: Seqno, dtype: float64
'''

# 刪除 dataframe 重復(fù)數(shù)據(jù)
print(df.drop_duplicates(['Seqno'])) # 按照 Seqno 來 去重
'''
  Price Seqno Symbol    time
0 1623.0  0.0  APPL 1473411962
4 1649.0  1.0  APPL 1473411963
'''
# drop_dujplicates() 第二個(gè)參數(shù) keep 包含的值 有： first、last、False
print(df.drop_duplicates(['Seqno'], keep='last')) # 保存最后一個(gè)
'''
  Price Seqno Symbol    time
3 1623.0  0.0  APPL 1473411963
4 1649.0  1.0  APPL 1473411963
'''

pandas 去除重復(fù)行

DataFrame.drop_duplicates（subset = None，keep ='first'，inplace = False ）

subset ：指定列，默認(rèn)情況下使用所有列

keep ： {'first'，'last'，F(xiàn)alse}，默認(rèn)'first'

first ：刪除重復(fù)項(xiàng)保留第一次出現(xiàn)的。last ：刪除重復(fù)項(xiàng)保留最后一次出現(xiàn)的。false：刪除所有重復(fù)項(xiàng)。

inplace ：布爾值，默認(rèn)為False 是否刪除重復(fù)項(xiàng)或返回副本

栗子：

到此這篇關(guān)于pandas中的數(shù)據(jù)去重處理的實(shí)現(xiàn)方法的文章就介紹到這了,更多相關(guān)Pandas 數(shù)據(jù)去重內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

相關(guān)文章

Python使用百度翻譯開發(fā)平臺(tái)實(shí)現(xiàn)英文翻譯為中文功能示例
這篇文章主要介紹了Python使用百度翻譯開發(fā)平臺(tái)實(shí)現(xiàn)英文翻譯為中文功能,結(jié)合實(shí)例形式分析了Python使用request請(qǐng)求與百度翻譯API接口交互實(shí)現(xiàn)翻譯功能相關(guān)操作技巧,需要的朋友可以參考下
2019-08-08
Python深入學(xué)習(xí)之對(duì)象的屬性
這篇文章主要介紹了Python深入學(xué)習(xí)之對(duì)象的屬性,本文從較深的層次講解對(duì)象屬性的內(nèi)部運(yùn)行方式,需要的朋友可以參考下
2014-08-08
python爬取氣象臺(tái)每日天氣圖代碼
大家好，本篇文章主要講的是python爬取氣象臺(tái)每日天氣圖代碼，感興趣的同學(xué)趕快來看一看吧，對(duì)你有幫助的話記得收藏一下，方便下次瀏覽
2022-01-01
Python爬蟲爬取ts碎片視頻+驗(yàn)證碼登錄功能
這篇文章主要介紹了Python爬蟲爬取ts碎片視頻+驗(yàn)證碼登錄功能,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2021-02-02
Python3中bytes類型轉(zhuǎn)換為str類型
Python 3最重要的新特性之一是對(duì)字符串和二進(jìn)制數(shù)據(jù)流做了明確的區(qū)分。這篇文章主要介紹了Python3中bytes類型轉(zhuǎn)換為str類型的相關(guān)知識(shí)，需要的朋友可以參考下
2018-09-09
Python實(shí)現(xiàn)功能全面的學(xué)生管理系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了Python實(shí)現(xiàn)功能全面的學(xué)生管理系統(tǒng)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2022-05-05
Python中Django發(fā)送帶圖片和附件的郵件
本篇文章主要介紹了Python中Django發(fā)送帶圖片和附件的郵件，非常具有實(shí)用價(jià)值，需要的朋友可以參考下。
2017-03-03
Django單元測試中Fixtures的使用方法
這篇文章主要介紹了Django單元測試中Fixtures用法詳解,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-02-02
在python list中篩選包含字符的字段方式
這篇文章主要介紹了在python list中篩選包含字符的字段方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
2022-11-11
python?DataFrame中stack()方法、unstack()方法和pivot()方法淺析
這篇文章主要給大家介紹了關(guān)于python?DataFrame中stack()方法、unstack()方法和pivot()方法的相關(guān)資料,pandas中這三種方法都是用來對(duì)表格進(jìn)行重排的,其中stack()是unstack()的逆操作,需要的朋友可以參考下
2022-04-04