亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

Python實(shí)現(xiàn)計(jì)算AUC的示例代碼

 更新時(shí)間:2022年07月12日 11:21:45   作者:lieyingkub99  
AUC(Area?under?curve)是機(jī)器學(xué)習(xí)常用的二分類(lèi)評(píng)測(cè)手段,直接含義是ROC曲線下的面積。本文將利用Python語(yǔ)言實(shí)現(xiàn)計(jì)算AUC,感興趣的可以學(xué)習(xí)一下

AUC(Area under curve)是機(jī)器學(xué)習(xí)常用的二分類(lèi)評(píng)測(cè)手段,直接含義是ROC曲線下的面積,如下圖:

這里寫(xiě)圖片描述

要理解這張圖的含義,得先理解下面這個(gè)表:

這里寫(xiě)圖片描述

表中列代表預(yù)測(cè)分類(lèi),行代表實(shí)際分類(lèi):

  • 實(shí)際1,預(yù)測(cè)1:真正類(lèi)(tp)
  • 實(shí)際1,預(yù)測(cè)0:假負(fù)類(lèi)(fn)
  • 實(shí)際0,預(yù)測(cè)1:假正類(lèi)(fp)
  • 實(shí)際0,預(yù)測(cè)0:真負(fù)類(lèi)(tn)
  • 真實(shí)負(fù)樣本總數(shù)=n=fp+tn
  • 真實(shí)正樣本總數(shù)=p=tp+fn

在第一張圖中,

橫坐標(biāo)false positive rate 代表假正類(lèi)率,由fp/n計(jì)算得到,

意為 在實(shí)際負(fù)樣本中出現(xiàn)預(yù)測(cè)正樣本的概率。

縱坐標(biāo)true positive rate 代表真正類(lèi)率,由tp/p計(jì)算得到,

意為 在實(shí)際正樣本中出現(xiàn)預(yù)測(cè)正樣本的概率。

為什么這樣一個(gè)指標(biāo)可以衡量分類(lèi)效果

先來(lái)看看如何得到這條曲線:

1. 通過(guò)分類(lèi)器得到每個(gè)樣本的預(yù)測(cè)概率,對(duì)其從高到低進(jìn)行排序

2. 從高到低,分別以每一個(gè)預(yù)測(cè)概率作為閾值,大于該閾值的認(rèn)定其為1,小于的為0,計(jì)算fp rate和tp rate。

對(duì)于一個(gè)有分類(lèi)效果(效果比隨機(jī)要好)的分類(lèi)器,剛開(kāi)始將高概率作為閾值時(shí),閾值以上的真正樣本占全部正樣本的比例(tp rate)>閾值以上的假正樣本占全部負(fù)樣本的比例(fp rate)。

auc理解

auc就是:隨機(jī)抽出一對(duì)樣本(一個(gè)正樣本,一個(gè)負(fù)樣本),然后用訓(xùn)練得到的分類(lèi)器來(lái)對(duì)這兩個(gè)樣本進(jìn)行預(yù)測(cè),預(yù)測(cè)得到正樣本的概率大于負(fù)樣本概率的概率。

AUC計(jì)算

方法一

在有M個(gè)正樣本,N個(gè)負(fù)樣本的數(shù)據(jù)集里。一共有M*N對(duì)樣本(一對(duì)樣本即,一個(gè)正樣本與一個(gè)負(fù)樣本)。統(tǒng)計(jì)這M*N對(duì)樣本里,正樣本的預(yù)測(cè)概率大于負(fù)樣本的預(yù)測(cè)概率的個(gè)數(shù)。

這里寫(xiě)圖片描述

舉個(gè)例子:

這里寫(xiě)圖片描述

假設(shè)有4條樣本。2個(gè)正樣本,2個(gè)負(fù)樣本,那么M*N=4。

即總共有4個(gè)樣本對(duì)。分別是:

(D,B),(D,A),(C,B),(C,A)。

在(D,B)樣本對(duì)中,正樣本D預(yù)測(cè)的概率大于負(fù)樣本B預(yù)測(cè)的概率(也就是D的得分比B高),記為1

同理,對(duì)于(C,B)。正樣本C預(yù)測(cè)的概率小于負(fù)樣本C預(yù)測(cè)的概率,記為0.

那么auc如下:

這里寫(xiě)圖片描述

假如出現(xiàn)得分一致的時(shí)候:

這里寫(xiě)圖片描述

同樣本是4個(gè)樣本對(duì),對(duì)于樣本對(duì)(C,B)其I值為0.5。

這里寫(xiě)圖片描述

方法二

利公式:

● 對(duì)預(yù)測(cè)概率從高到低排序

● 對(duì)每一個(gè)概率值設(shè)一個(gè)rank值(最高的概率的rank為n,第二高的為n-1)

● rank實(shí)際上代表了該score(預(yù)測(cè)概率)超過(guò)的樣本的數(shù)目

為了求的組合中正樣本的score值大于負(fù)樣本,如果所有的正樣本score值都是大于負(fù)樣本的,那么第一位與任意的進(jìn)行組合score值都要大,我們?nèi)∷膔ank值為n,但是n-1中有M-1是正樣例和正樣例的組合這種是不在統(tǒng)計(jì)范圍內(nèi)的(為計(jì)算方便我們?nèi)組,相應(yīng)的不符合的有M個(gè)),所以要減掉,那么同理排在第二位的n-1,會(huì)有M-1個(gè)是不滿(mǎn)足的,依次類(lèi)推,故得到后面的公式M*(M+1)/2,我們可以驗(yàn)證在正樣本score都大于負(fù)樣本的假設(shè)下,AUC的值為1

● 除以M*N

這里寫(xiě)圖片描述

舉例說(shuō)明:

這里寫(xiě)圖片描述

排序。按概率排序后得到:

按照上面的公式,只把正樣本的序號(hào)加起來(lái)也就是只把樣本C,D的rank值加起來(lái)后減去一個(gè)常數(shù)項(xiàng):

這里寫(xiě)圖片描述

得到:

這里寫(xiě)圖片描述

如果出現(xiàn)得分一樣的情況:

這里寫(xiě)圖片描述

假如有4個(gè)取值概率為0.5,而且既有正樣本也有負(fù)樣本的情況。計(jì)算的時(shí)候,其實(shí)原則就是相等得分的rank取平均值。具體來(lái)說(shuō)如下:

先排序:

這里寫(xiě)圖片描述

這里需要注意的是:相等概率得分的樣本,無(wú)論正負(fù),誰(shuí)在前,誰(shuí)在后無(wú)所謂。

由于只考慮正樣本的rank值:

對(duì)于正樣本A,其rank值為7

對(duì)于正樣本B,其rank值為6

對(duì)于正樣本E,其rank值為(5+4+3+2)/4

對(duì)于正樣本F,其rank值為(5+4+3+2)/4

這里寫(xiě)圖片描述

實(shí)現(xiàn)及驗(yàn)證

采用sklearn中的庫(kù)函數(shù)驗(yàn)證:

import numpy as np
from sklearn.metrics import roc_curve
from sklearn.metrics import auc

#---自己按照公式實(shí)現(xiàn)
def auc_calculate(labels,preds,n_bins=100):
    postive_len = sum(labels)
    negative_len = len(labels) - postive_len
    total_case = postive_len * negative_len
    pos_histogram = [0 for _ in range(n_bins)]
    neg_histogram = [0 for _ in range(n_bins)]
    bin_width = 1.0 / n_bins
    for i in range(len(labels)):
        nth_bin = int(preds[i]/bin_width)
        if labels[i]==1:
            pos_histogram[nth_bin] += 1
        else:
            neg_histogram[nth_bin] += 1
    accumulated_neg = 0
    satisfied_pair = 0
    for i in range(n_bins):
        satisfied_pair += (pos_histogram[i]*accumulated_neg + pos_histogram[i]*neg_histogram[i]*0.5)
        accumulated_neg += neg_histogram[i]

    return satisfied_pair / float(total_case)

if __name__ == '__main__':

    y = np.array([1,0,0,0,1,0,1,0,])
    pred = np.array([0.9, 0.8, 0.3, 0.1,0.4,0.9,0.66,0.7])


    fpr, tpr, thresholds = roc_curve(y, pred, pos_label=1)
    print("-----sklearn:",auc(fpr, tpr))
    print("-----py腳本:",auc_calculate(y,pred))

這里寫(xiě)圖片描述

AUC的優(yōu)點(diǎn)

它不受類(lèi)別不平衡問(wèn)題的影響,不同的樣本比例不會(huì)影響AUC的評(píng)測(cè)結(jié)果。在訓(xùn)練時(shí),可以直接使用AUC作為損失函數(shù)。

到此這篇關(guān)于Python實(shí)現(xiàn)計(jì)算AUC的示例代碼的文章就介紹到這了,更多相關(guān)Python計(jì)算AUC內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

最新評(píng)論