Python實現(xiàn)對相同數(shù)據(jù)分箱的小技巧分享
前言
博主最近工作中剛好用到數(shù)據(jù)分箱操作(對相同數(shù)據(jù)進行遍歷比較,避免了全部遍歷比較,大大減少了電腦IO次數(shù),提高程序運行速度),翻了很多博文都沒有找到解決方法,寫一下我自己的解決思路!?。?/p>
什么是分箱?
簡單點說就是將不同的東西,按照特定的條件放到一個指定容器里,比如水果 把綠色的放一個籃子里,紅色一個籃子等等,這個籃子就是箱,而水果就是數(shù)據(jù) 顏色就是條件
什么樣式的數(shù)據(jù)要進行分箱
數(shù)據(jù)主要分為連續(xù)變量和分類變量,分箱的操作主要針對于連續(xù)變量。
為什么要對數(shù)據(jù)進行分箱操作
穩(wěn)定性,時間復(fù)雜度,看的舒服,提高準確度 等等
思路
先給定 last 為列表第一個(并存入temp列表),將后面的數(shù)據(jù)從第二個開始與 last 比較,如果相同存入 temp 中。
當不相同時,則將 last 切換為 不同的那個數(shù)(并存入temp),并將 temp列表 放入一個空列表中。
類型一:數(shù)字
實現(xiàn)效果
[1,1,1,2,2,2,3,3,4,4,5,5,5,5,5] # 轉(zhuǎn)變?yōu)? [[1, 1, 1], [2, 2, 2], [3, 3], [4, 4], [5, 5, 5, 5, 5]]
代碼實現(xiàn)
box = [1,1,1,2,2,2,3,3,4,4,5,5,5,5,5] last = box[0] temp = [box[0]] box_list = [temp] for a in box[1::]: if a == last: temp.append(a) else: last = a temp = [a] box_list.append(temp) print(box_list) # [[1, 1, 1], [2, 2, 2], [3, 3], [4, 4], [5, 5, 5, 5, 5]] # 實現(xiàn)按每一個分箱列表遍歷數(shù)據(jù)(而不用全部遍歷) for boxs in box_list: for i in boxs: print(i)
類型二:元組
實現(xiàn)效果
box = [('小黑','20','四川'),('小黑','21','北京'),('張三','18','上海'),('張三','22','上海'),('張三','30','北京'),('李四','10','廣州')] # 實現(xiàn)把名字相同的元組放入一個列表 [[('小黑', '20', '四川'), ('小黑', '21', '北京')], [('張三', '18', '上海'), ('張三', '22', '上海'), ('張三', '30', '北京')], [('李四', '10', '廣州')]]
代碼實現(xiàn)
box = [('小黑','20','四川'),('小黑','21','北京'),('張三','18','上海'),('張三','22','上海'),('張三','30','北京'),('李四','10','廣州')] last = box[0][0] temp = [box[0]] box_list = [temp] for a in box[1::]: if a[0] == last: temp.append(a) else: last = a[0] temp = [a] box_list.append(temp) print(box_list) # 實現(xiàn)按每一個分箱列表遍歷數(shù)據(jù)(而不用全部遍歷) for boxs in box_list: for i in boxs: print(i[0]) # 0取的姓名,1取年齡,3取地址
附:利用Python的cut方法可以對數(shù)據(jù)進行分箱。
import pandas as pd import numpy as np from pandas import Series,DataFrame # 隨機生成一組數(shù)據(jù) score_list = np.random.randint(25,100,size = 20) # 隨機生成最小值25,最大值100的20個數(shù)據(jù) # 分箱的區(qū)間 bins = [0,59,70,80,100] # 分箱 score_cat = pd.cut(score_list,bins) # 統(tǒng)計不同區(qū)間的個數(shù) pd.value_counts(score_cat) # 生成一個空的DataFrame df = DataFrame() df['Score'] = score_list df['Name'] = [pd.util.testing.rands(5) for i in range(20)] # 生成20個姓名 df['Categories'] =pd.cut(df['Score'],bins,labels = ['不及格','一般','優(yōu)秀','厲害']) # labels對應(yīng)的是bins的
總結(jié)
到此這篇關(guān)于Python實現(xiàn)對相同數(shù)據(jù)分箱的文章就介紹到這了,更多相關(guān)Python相同數(shù)據(jù)分箱內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
pyinstaller打包單個exe后無法執(zhí)行錯誤的解決方法
今天小編就為大家分享一篇pyinstaller打包單個exe后無法執(zhí)行錯誤的解決方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06django中url映射規(guī)則和服務(wù)端響應(yīng)順序的實現(xiàn)
這篇文章主要介紹了django中url映射規(guī)則和服務(wù)端響應(yīng)順序的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2020-04-04深入淺析python 協(xié)程與go協(xié)程的區(qū)別
這篇文章主要介紹了python 協(xié)程與go協(xié)程的區(qū)別 ,本文給大家介紹的非常詳細,具有一定的參考借鑒價值,需要的朋友可以參考下2019-05-05在Python 中同一個類兩個函數(shù)間變量的調(diào)用方法
今天小編就為大家分享一篇在Python 中同一個類兩個函數(shù)間變量的調(diào)用方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01