python按照list中字典的某key去重的示例代碼
更新時間：2020年10月13日 11:22:01 作者：不正經(jīng)的kimol君
這篇文章主要介紹了python按照list中字典的某key去重的示例代碼，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
一、需求說明
當(dāng)我們寫爬蟲的時候，經(jīng)常會遇到j(luò)son格式的數(shù)據(jù)，它通常是如下結(jié)構(gòu)：
data = [{'name':'小K','score':100},
{'name':'小J','score':98},
{'name':'小Q','score':95},
{'name':'小K','score':100}]
很顯然名字為小K的數(shù)據(jù)重復(fù)了，我們需要進行去重。通常對于list的去重，我們可以用set()函數(shù)，即：
data = list(set(data))
然而，運行之后你會發(fā)現(xiàn)它報錯了：
list里的數(shù)據(jù)不能是dict類型，那么該怎么辦呢？
二、我的解決方案
定義一個去重的函數(shù)即可，根據(jù)里面的某個key，對數(shù)據(jù)進行篩選去重：
def DelRepeat(data,key):
new_data = [] # 用于存儲去重后的list
values = [] # 用于存儲當(dāng)前已有的值
for d in data:
if d[key] not in values:
new_data.append(d)
values.append(d[key])
return new_data
參數(shù)data為需要去重的list，key為去重的?。窗凑漳膫€key來去重），去重后結(jié)果為：
[{'name': '小K', 'score': 100},
{'name': '小J', 'score': 98},
{'name': '小Q', 'score': 95}]
成功去重！
到此這篇關(guān)于python按照list中字典的某key去重的示例代碼的文章就介紹到這了,更多相關(guān)python list字典的某key去重內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
使用Python的toolz庫開始函數(shù)式編程的方法
這篇文章主要介紹了使用Python的toolz庫開始函數(shù)式編程的方法，非常不錯，具有一定的參考借鑒價值,需要的朋友可以參考下2018-11-11
python3應(yīng)用windows api對后臺程序窗口及桌面截圖并保存的方法
今天小編就為大家分享一篇python3應(yīng)用windows api對后臺程序窗口及桌面截圖并保存的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08
這篇文章主要介紹了Python3 處理JSON的實例詳解的相關(guān)資料,希望通過本文能幫助到大家，讓大家實現(xiàn)這樣的功能，需要的朋友可以參考下2017-10-10
這篇文章主要介紹了Python日志模塊logging簡介,本文講解了Logger、Handler、Formatter、日志配置管理、通過文件配置管理日志等內(nèi)容,需要的朋友可以參考下2015-04-04
Python淘寶或京東等秒殺搶購腳本實現(xiàn)(秒殺腳本)
本篇文章主要介紹了Python 通過selenium實現(xiàn)毫秒級自動搶購的示例代碼，通過掃碼登錄即可自動完成一系列操作，搶購時間精確至毫秒，可搶加購物車等待時間結(jié)算的，也可以搶聚劃算、火車票等的商品，感興趣的朋友跟隨小編一起看看吧2022-10-10
這篇文章主要介紹了Python String型列表求最值的問題,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-01-01
淺談Python3識別判斷圖片主要顏色并和顏色庫進行對比的方法
這篇文章主要介紹了淺談Python3識別判斷圖片主要顏色并和顏色庫進行對比的方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10
這篇文章主要介紹了Python中字典與恒等運算符的用法,結(jié)合實例形式分析了Python中字典與恒等運算符功能、常見用法及操作注意事項,需要的朋友可以參考下2019-08-08
這篇文章主要為大家介紹了python全局變量,局部變量和命名空間，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-12-12
這篇文章主要介紹了python 函數(shù)傳參之傳值還是傳引用的分析,需要的朋友可以參考下2017-09-09