基于python 等頻分箱qcut問(wèn)題的解決
在python 較新的版本中,pandas.qcut()這個(gè)函數(shù)中是有duplicates這個(gè)參數(shù)的,它能解決在等頻分箱中遇到的重復(fù)值過(guò)多引起報(bào)錯(cuò)的問(wèn)題;
在比較舊版本的python中,提供一下解決辦法:
import pandas as pd def pct_rank_qcut(series, n): ''' series:要分箱的列 n:箱子數(shù) ''' edages = pd.series([i/n for i in range(n)] # 轉(zhuǎn)換成百分比 func = lambda x: (edages >= x).argmax() #函數(shù):(edages >= x)返回fasle/true列表中第一次出現(xiàn)true的索引值 return series.rank(pct=1).astype(float).apply(func) #series.rank(pct=1)每個(gè)值對(duì)應(yīng)的百分位數(shù),最終返回對(duì)應(yīng)的組數(shù);rank()函數(shù)傳入的數(shù)據(jù)類型若為object,結(jié)果會(huì)有問(wèn)題,因此進(jìn)行了astype
補(bǔ)充拓展:Python數(shù)據(jù)離散化:等寬及等頻
在處理數(shù)據(jù)時(shí),我們往往需要將連續(xù)性變量進(jìn)行離散化,最常用的方式便是等寬離散化,等頻離散化,在此處我們討論離散化的概念,只給出在python中的實(shí)現(xiàn)以供參考
1. 等寬離散化
使用pandas中的cut()函數(shù)進(jìn)行劃分
import numpy as np import pandas as pd # Discretization: Equal Width # # Datas: Sample * Feature def Discretization_EqualWidth(K, Datas, FeatureNumber): DisDatas = np.zeros_like(Datas) for i in range(FeatureNumber): DisOneFeature = pd.cut(Datas[:, i], K, labels=range(1, K+1)) DisDatas[:, i] = DisOneFeature return DisDatas
2. 等頻離散化
pandas中有qcut()可以使用,但是邊界易出現(xiàn)重復(fù)值,如果為了刪除重復(fù)值設(shè)置 duplicates=‘drop',則易出現(xiàn)于分片個(gè)數(shù)少于指定個(gè)數(shù)的問(wèn)題,因此在此處不使用qcut()
import numpy as np import pandas as pd # Discretization: Equal Frequency # # vector: single feature def Rank_qcut(vector, K): quantile = np.array([float(i) / K for i in range(K + 1)]) # Quantile: K+1 values funBounder = lambda x: (quantile >= x).argmax() return vector.rank(pct=True).apply(funBounder) # Discretization: Equal Frequency # # Datas: Sample * Feature def Discretization_EqualFrequency(K, Datas, FeatureNumber): DisDatas = np.zeros_like(Datas) w = [float(i) / K for i in range(K + 1)] for i in range(FeatureNumber): DisOneFeature = Rank_qcut(pd.Series(Datas[:, i]), K) #print(DisOneFeature) DisDatas[:, i] = DisOneFeature return DisDatas
以上這篇基于python 等頻分箱qcut問(wèn)題的解決就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
python3 numpy中數(shù)組相乘np.dot(a,b)運(yùn)算的規(guī)則說(shuō)明
這篇文章主要介紹了python3 numpy中數(shù)組相乘np.dot(a,b)運(yùn)算的規(guī)則說(shuō)明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-03-03python3實(shí)現(xiàn)往mysql中插入datetime類型的數(shù)據(jù)
這篇文章主要介紹了python3實(shí)現(xiàn)往mysql中插入datetime類型的數(shù)據(jù),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-03-03Python中static相關(guān)知識(shí)小結(jié)
static用法:是一個(gè)修飾符,用于修飾成員(成員變量,成員函數(shù)).當(dāng)成員被靜態(tài)修飾后,就多了一個(gè)調(diào)用方式,除了可以被對(duì)象調(diào)用外,還可以直接被類名調(diào)用,格式——類名.靜態(tài)成員。2018-01-01Pytorch中torch.repeat_interleave()函數(shù)使用及說(shuō)明
這篇文章主要介紹了Pytorch中torch.repeat_interleave()函數(shù)使用及說(shuō)明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-01-01