python編寫(xiě)softmax函數(shù)、交叉熵函數(shù)實(shí)例
python代碼如下：
import numpy as np # Write a function that takes as input a list of numbers, and returns # the list of values given by the softmax function. def softmax(L): pass expL = np.exp(L) sumExpL = sum(expL) result = [] for i in expL: result.append(i*1.0/sumExpL) return result
python編寫(xiě)交叉熵公式：
import numpy as np def cross_entropy(Y, P): Y = np.float_(Y) P = np.float_(P) return -np.sum(Y * np.log(P) + (1 - Y) * np.log(1 - P))
補(bǔ)充知識(shí)：分類(lèi)時(shí)，為什么不使用均方誤差而是使用交叉熵作為損失函數(shù)
MSE（均方誤差）對(duì)于每一個(gè)輸出的結(jié)果都非?？粗兀徊骒刂粚?duì)正確分類(lèi)的結(jié)果看重。
例如：在一個(gè)三分類(lèi)模型中，模型的輸出結(jié)果為（a,b,c)，而真實(shí)的輸出結(jié)果為(1,0,0)，那么MSE與cross-entropy相對(duì)應(yīng)的損失函數(shù)的值如下：
MSE：
cross-entropy：
從上述的公式可以看出，交叉熵的損失函數(shù)只和分類(lèi)正確的預(yù)測(cè)結(jié)果有關(guān)系，而MSE的損失函數(shù)還和錯(cuò)誤的分類(lèi)有關(guān)系，該分類(lèi)函數(shù)除了讓正確的分類(lèi)盡量變大，還會(huì)讓錯(cuò)誤的分類(lèi)變得平均，但實(shí)際在分類(lèi)問(wèn)題中這個(gè)調(diào)整是沒(méi)有必要的。
但是對(duì)于回歸問(wèn)題來(lái)說(shuō)，這樣的考慮就顯得很重要了。所以，回歸問(wèn)題熵使用交叉上并不合適。
以上這篇python編寫(xiě)softmax函數(shù)、交叉熵函數(shù)實(shí)例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
python實(shí)現(xiàn)合并兩個(gè)數(shù)組的方法
這篇文章主要介紹了python實(shí)現(xiàn)合并兩個(gè)數(shù)組的方法,實(shí)例分析了兩種常用的合并數(shù)組的技巧,非常簡(jiǎn)單實(shí)用,需要的朋友可以參考下2015-05-05
在本篇文章里小編給大家整理了關(guān)于python中聲明變量類(lèi)型的相關(guān)知識(shí)點(diǎn)，需要的朋友們可以學(xué)習(xí)下。2020-06-06
python3寫(xiě)的簡(jiǎn)單本地文件上傳服務(wù)器實(shí)例
今天小編就為大家分享一篇python3寫(xiě)的簡(jiǎn)單本地文件上傳服務(wù)器實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-06-06
Python將多個(gè)excel表格合并為一個(gè)表格
這篇文章主要為大家詳細(xì)介紹了Python將多個(gè)excel表格合并為一個(gè)表格的方法，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-01-01
python中ImageTk.PhotoImage()不顯示圖片卻不報(bào)錯(cuò)問(wèn)題解決
這篇文章主要給大家介紹了關(guān)于在python中ImageTk.PhotoImage()不顯示圖片卻不報(bào)錯(cuò)問(wèn)題的解決方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2018-12-12
思考分析Python運(yùn)算中?a+=b?和?a=a+b是否相等
這篇文章主要為大家介紹了Python運(yùn)算中a+=b和a=a+b是否相等及原理思考分析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-04-04
這篇文章主要為大家詳細(xì)介紹了Python及PyCharm下載與安裝教程，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-11-11
Pytorch加載部分預(yù)訓(xùn)練模型的參數(shù)實(shí)例
今天小編就為大家分享一篇Pytorch加載部分預(yù)訓(xùn)練模型的參數(shù)實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-08-08
Python headers請(qǐng)求頭如何實(shí)現(xiàn)快速添加
這篇文章主要介紹了Python headers請(qǐng)求頭如何實(shí)現(xiàn)快速添加,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-11-11
Python是一門(mén)解釋性語(yǔ)言，沒(méi)有嚴(yán)格意義上的編譯和匯編過(guò)程。Pyc文件是py編譯過(guò)程中產(chǎn)生的字節(jié)碼文件，可以由虛擬機(jī)直接執(zhí)行，是python將目標(biāo)源碼編譯成字節(jié)碼以后在磁盤(pán)上的文件形式。本文就來(lái)聊聊pyc文件的寫(xiě)入等只是，感興趣的可以了解一下2022-12-12