Python實(shí)現(xiàn)非正太分布的異常值檢測(cè)方式
工作中,我們經(jīng)常會(huì)遇到數(shù)據(jù)異常,比如說瀏覽量突增猛降,交易量突增猛降,但是這些數(shù)據(jù)又不是符合正太分布的,如果用幾倍西格瑪就不合適,那么我們?nèi)绾蝸砼袛噙@些變化是否在合理的范圍呢?
小白查閱一些資料后,發(fā)現(xiàn)可以用箱形圖,具體描述如下:
箱形圖(英文:Box plot),又稱為盒須圖、盒式圖、盒狀圖或箱線圖,是一種用作顯示一組數(shù)據(jù)分散情況資料的統(tǒng)計(jì)圖。因型狀如箱子而得名。箱形圖最大的優(yōu)點(diǎn)就是不受異常值的影響,能夠準(zhǔn)確穩(wěn)定地描繪出數(shù)據(jù)的離散分布情況,同時(shí)也利于數(shù)據(jù)的清洗。
異常值可以設(shè)置為上四分位數(shù)的1.25倍,也可以設(shè)置為1.5倍,具體的要通過實(shí)驗(yàn)可得。
1、下四分位數(shù)Q1
(1)確定四分位數(shù)的位置。Qi所在位置=i(n+1)/4,其中i=1,2,3。n表示序列中包含的項(xiàng)數(shù)。
(2)根據(jù)位置,計(jì)算相應(yīng)的四分位數(shù)。
例中:Q1所在的位置=(14+1)/4=3.75,Q1=0.25×第三項(xiàng)+0.75×第四項(xiàng)=0.25×17+0.75×19=18.5;
2、中位數(shù)(第二個(gè)四分位數(shù))Q2中位數(shù),即一組數(shù)由小到大排列處于中間位置的數(shù)。若序列數(shù)為偶數(shù)個(gè),該組的中位數(shù)為中間兩個(gè)數(shù)的平均數(shù)。
例中:Q2所在的位置=2(14+1)/4=7.5,Q2=0.5×第七項(xiàng)+0.5×第八項(xiàng)=0.5×25+0.5×28=26.5
3、上四分位數(shù)Q3計(jì)算方法同下四分位數(shù)。
例中:Q3所在的位置=3(14+1)/4=11.25,Q3=0.75×第十一項(xiàng)+0.25×第十二項(xiàng)=0.75×34+0.25×35=34.25。
4、上限上限是非異常范圍內(nèi)的最大值。
首先要知道什么是四分位距如何計(jì)算的?四分位距IQR=Q3-Q1,那么上限=Q3+1.5IQR5、下限下限是非異常范圍內(nèi)的最小值。下限=Q1-1.5IQR
我這里是使用上四分位數(shù)的1.5倍作為上限,下四分位數(shù)的1.5倍作為下限。
這里是拿歷史一個(gè)月每天的產(chǎn)量和間夜量作為參考,統(tǒng)計(jì)出歷史的箱線圖的各個(gè)指標(biāo),然后將要比較的數(shù)據(jù),來進(jìn)行循環(huán)判斷,若超過上限/下限那么拋出1和0.
# -*- coding: utf-8 -*- """ Created on Tue Apr 30 10:52:37 2019 @author: chen_lib """ import pandas as pd catering_sale = 'D:/Users/chen_lib/Desktop/ceshi.csv' #讀取歷史數(shù)據(jù) datax = pd.read_csv(catering_sale) #讀取數(shù)據(jù) #取出不是昨天的數(shù)據(jù) data = datax.loc[datax['orderdate'] != datetime][:] ''' import time ## yyyy-mm-dd格式 print (time.strftime("%Y-%m-%d")) ''' #時(shí)間減一天 import datetime datetime = (datetime.datetime.now()+datetime.timedelta(days=-1)).strftime("%Y-%m-%d") #保存基本統(tǒng)計(jì)量,將常見的統(tǒng)計(jì)信息保存為數(shù)據(jù)框 statistics = data.describe() #添加行標(biāo)簽 計(jì)算出每個(gè)指標(biāo)的上線下線和四分位間距 statistics.loc['IQR'] = statistics.loc['75%']-statistics.loc['25%'] #四分位數(shù)間距 statistics.loc['UP'] = statistics.loc['75%'] + 1.5*statistics.loc['IQR'] #上限 statistics.loc['DAWN'] = statistics.loc['25%'] - 1.5*statistics.loc['IQR']#下限 #取出data的列名 columns = data.columns.values.tolist() '''取出要比較的數(shù)值,放在統(tǒng)計(jì)信息表''' a = data.loc[data['orderdate'] == datetime][columns[1]]#取出第一列 b = data.loc[data['orderdate'] == datetime][columns[2]]#取出第二列 statistics.loc['res'] = [a[1],b[1]]#取出需要比較的當(dāng)天的數(shù)據(jù) 放入統(tǒng)計(jì)信息中 '''循環(huán)取出結(jié)果是否滿足要求''' ret = [] for i in range(2): res = statistics.loc['res'][i] max = statistics.loc['UP'][columns[i+1]]#最大值 min = statistics.loc['DAWN'][columns[i+1]]#最小值 ''' #重建三個(gè)值的索引,以便比較大小 res.index = ['ordernum'] max.index = max['ordernum'] min.index = min['ordernum'] #判斷異常值,若大于最大值或者小于最小值則拋出結(jié)果為1 ''' result1 = res>max result2 = res<min if result1 =='False' or result2 == 'False': ret.append([columns[i+1],1]) else: ret.append([columns[i+1],0]) df = pd.DataFrame(ret) #將文件寫入excel表中 df.to_excel("d:/Users/chen_lib/Desktop/ceshi.xlsx",sheet_name="total",index=False,header=False)
以上這篇Python實(shí)現(xiàn)非正太分布的異常值檢測(cè)方式就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
python實(shí)現(xiàn)選取或刪除指定列包含指定內(nèi)容的行
這篇文章主要介紹了python實(shí)現(xiàn)選取或刪除指定列包含指定內(nèi)容的行,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-02-02python使用wmi模塊獲取windows下的系統(tǒng)信息 監(jiān)控系統(tǒng)
Python用WMI模塊獲取Windows系統(tǒng)的硬件信息:硬盤分區(qū)、使用情況,內(nèi)存大小,CPU型號(hào),當(dāng)前運(yùn)行的進(jìn)程,自啟動(dòng)程序及位置,系統(tǒng)的版本等信息。2015-10-10Python實(shí)現(xiàn)壓縮與解壓gzip大文件的方法
這篇文章主要介紹了Python實(shí)現(xiàn)壓縮與解壓gzip大文件的方法,分析了Python針對(duì)壓縮成gzip文件及解壓gzip文件的方法,并給出了相應(yīng)的封裝類,需要的朋友可以參考下2016-09-09詳解Python中math和decimal模塊的解析與實(shí)踐
在Python中,math?和?decimal?模塊是處理數(shù)學(xué)運(yùn)算的重要工具,本文將深入探討這兩個(gè)模塊的基礎(chǔ)知識(shí),并通過實(shí)際的代碼示例演示它們的用法,希望對(duì)大家有所幫助2024-02-02詳解Django中views數(shù)據(jù)查詢使用locals()函數(shù)進(jìn)行優(yōu)化
這篇文章主要介紹了Django中views數(shù)據(jù)查詢使用locals()函數(shù)進(jìn)行優(yōu)化,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08Python?Matplotlib通過plt.subplots創(chuàng)建子繪圖
這篇文章主要介紹了Python?Matplotlib通過plt.subplots創(chuàng)建子繪圖,plt.subplots調(diào)用后將會(huì)產(chǎn)生一個(gè)圖表和默認(rèn)網(wǎng)格,與此同時(shí)提供一個(gè)合理的控制策略布局子繪圖,更多相關(guān)需要的朋友可以參考下面文章內(nèi)容2022-07-07pytorch_detach 切斷網(wǎng)絡(luò)反傳方式
這篇文章主要介紹了pytorch_detach 切斷網(wǎng)絡(luò)反傳方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2021-05-05