用Python實現(xiàn)BP神經(jīng)網(wǎng)絡(luò)（附代碼）
用Python實現(xiàn)出來的機(jī)器學(xué)習(xí)算法都是什么樣子呢？ 前兩期線性回歸及邏輯回歸項目已發(fā)布（見文末鏈接），今天來講講BP神經(jīng)網(wǎng)絡(luò)。
BP神經(jīng)網(wǎng)絡(luò)
全部代碼
https://github.com/lawlite19/MachineLearning_Python/blob/master/NeuralNetwok/NeuralNetwork.py
神經(jīng)網(wǎng)絡(luò)model
先介紹個三層的神經(jīng)網(wǎng)絡(luò)，如下圖所示
輸入層（input layer）有三個units（
為補上的bias，通常設(shè)為1）
表示第j層的第i個激勵，也稱為為單元unit
為第j層到第j+1層映射的權(quán)重矩陣，就是每條邊的權(quán)重
所以可以得到：
隱含層：
輸出層
，
其中，S型函數(shù)
，也成為激勵函數(shù)
可以看出
為3x4的矩陣，
為1x4的矩陣
==》j+1的單元數(shù)x（j層的單元數(shù)+1）
代價函數(shù)
假設(shè)最后輸出的
，即代表輸出層有K個單元
，
其中，
代表第i個單元輸出與邏輯回歸的代價函數(shù)
差不多，就是累加上每個輸出（共有K個輸出）
正則化
L-->所有層的個數(shù)
-->第l層unit的個數(shù)
正則化后的代價函數(shù)為
共有L-1層，然后是累加對應(yīng)每一層的theta矩陣，注意不包含加上偏置項對應(yīng)的theta(0)
正則化后的代價函數(shù)實現(xiàn)代碼：
# 代價函數(shù)
def nnCostFunction(nn_params,input_layer_size,hidden_layer_size,num_labels,X,y,Lambda):
length = nn_params.shape[0] # theta的中長度
# 還原theta1和theta2
Theta1 = nn_params[0:hidden_layer_size*(input_layer_size+1)].reshape(hidden_layer_size,input_layer_size+1)
Theta2 = nn_params[hidden_layer_size*(input_layer_size+1):length].reshape(num_labels,hidden_layer_size+1)
# np.savetxt("Theta1.csv",Theta1,delimiter=',')
m = X.shape[0]
class_y = np.zeros((m,num_labels)) # 數(shù)據(jù)的y對應(yīng)0-9，需要映射為0/1的關(guān)系
# 映射y
for i in range(num_labels):
class_y[:,i] = np.int32(y==i).reshape(1,-1) # 注意reshape(1,-1)才可以賦值
'''去掉theta1和theta2的第一列，因為正則化時從1開始'''
Theta1_colCount = Theta1.shape[1]
Theta1_x = Theta1[:,1:Theta1_colCount]
Theta2_colCount = Theta2.shape[1]
Theta2_x = Theta2[:,1:Theta2_colCount]
# 正則化向theta^2
term = np.dot(np.transpose(np.vstack((Theta1_x.reshape(-1,1),Theta2_x.reshape(-1,1)))),np.vstack((Theta1_x.reshape(-1,1),Theta2_x.reshape(-1,1))))
'''正向傳播,每次需要補上一列1的偏置bias'''
a1 = np.hstack((np.ones((m,1)),X))
z2 = np.dot(a1,np.transpose(Theta1))
a2 = sigmoid(z2)
a2 = np.hstack((np.ones((m,1)),a2))
z3 = np.dot(a2,np.transpose(Theta2))
h = sigmoid(z3)
'''代價'''
J = -(np.dot(np.transpose(class_y.reshape(-1,1)),np.log(h.reshape(-1,1)))+np.dot(np.transpose(1-class_y.reshape(-1,1)),np.log(1-h.reshape(-1,1)))-Lambda*term/2)/m
return np.ravel(J)
反向傳播BP
上面正向傳播可以計算得到J(θ),使用梯度下降法還需要求它的梯度
BP反向傳播的目的就是求代價函數(shù)的梯度
假設(shè)4層的神經(jīng)網(wǎng)絡(luò),
記為-->l層第j個單元的誤差
《===》
（向量化）
沒有
，因為對于輸入沒有誤差
因為S型函數(shù)
的倒數(shù)為：
，
所以上面的
和
可以在前向傳播中計算出來
反向傳播計算梯度的過程為：
（
是大寫的
）
for i=1-m:-
-正向傳播計算
（l=2,3,4...L）
-反向計算
、
...
；
-
-
最后
，即得到代價函數(shù)的梯度
實現(xiàn)代碼：
# 梯度 def nnGradient(nn_params,input_layer_size,hidden_layer_size,num_labels,X,y,Lambda): length = nn_params.shape[0] Theta1 = nn_params[0:hidden_layer_size*(input_layer_size+1)].reshape(hidden_layer_size,input_layer_size+1) Theta2 = nn_params[hidden_layer_size*(input_layer_size+1):length].reshape(num_labels,hidden_layer_size+1) m = X.shape[0] class_y = np.zeros((m,num_labels)) # 數(shù)據(jù)的y對應(yīng)0-9，需要映射為0/1的關(guān)系 # 映射y for i in range(num_labels): class_y[:,i] = np.int32(y==i).reshape(1,-1) # 注意reshape(1,-1)才可以賦值 '''去掉theta1和theta2的第一列，因為正則化時從1開始''' Theta1_colCount = Theta1.shape[1] Theta1_x = Theta1[:,1:Theta1_colCount] Theta2_colCount = Theta2.shape[1] Theta2_x = Theta2[:,1:Theta2_colCount] Theta1_grad = np.zeros((Theta1.shape)) #第一層到第二層的權(quán)重 Theta2_grad = np.zeros((Theta2.shape)) #第二層到第三層的權(quán)重 Theta1[:,0] = 0; Theta2[:,0] = 0; '''正向傳播，每次需要補上一列1的偏置bias''' a1 = np.hstack((np.ones((m,1)),X)) z2 = np.dot(a1,np.transpose(Theta1)) a2 = sigmoid(z2) a2 = np.hstack((np.ones((m,1)),a2)) z3 = np.dot(a2,np.transpose(Theta2)) h = sigmoid(z3) '''反向傳播，delta為誤差，''' delta3 = np.zeros((m,num_labels)) delta2 = np.zeros((m,hidden_layer_size)) for i in range(m): delta3[i,:] = h[i,:]-class_y[i,:] Theta2_grad = Theta2_grad+np.dot(np.transpose(delta3[i,:].reshape(1,-1)),a2[i,:].reshape(1,-1)) delta2[i,:] = np.dot(delta3[i,:].reshape(1,-1),Theta2_x)*sigmoidGradient(z2[i,:]) Theta1_grad = Theta1_grad+np.dot(np.transpose(delta2[i,:].reshape(1,-1)),a1[i,:].reshape(1,-1)) '''梯度''' grad = (np.vstack((Theta1_grad.reshape(-1,1),Theta2_grad.reshape(-1,1)))+Lambda*np.vstack((Theta1.reshape(-1,1),Theta2.reshape(-1,1))))/m return np.ravel(grad)
BP可以求梯度的原因
實際是利用了鏈?zhǔn)角髮?dǎo)法則
因為下一層的單元利用上一層的單元作為輸入進(jìn)行計算
大體的推導(dǎo)過程如下，最終我們是想預(yù)測函數(shù)與已知的y非常接近，求均方差的梯度沿著此梯度方向可使代價函數(shù)最小化。可對照上面求梯度的過程。
求誤差更詳細(xì)的推導(dǎo)過程：
梯度檢查
檢查利用BP求的梯度是否正確
利用導(dǎo)數(shù)的定義驗證：
求出來的數(shù)值梯度應(yīng)該與BP求出的梯度非常接近
驗證BP正確后就不需要再執(zhí)行驗證梯度的算法了
實現(xiàn)代碼：
# 檢驗梯度是否計算正確 # 檢驗梯度是否計算正確 def checkGradient(Lambda = 0): '''構(gòu)造一個小型的神經(jīng)網(wǎng)絡(luò)驗證，因為數(shù)值法計算梯度很浪費時間，而且驗證正確后之后就不再需要驗證了''' input_layer_size = 3 hidden_layer_size = 5 num_labels = 3 m = 5 initial_Theta1 = debugInitializeWeights(input_layer_size,hidden_layer_size); initial_Theta2 = debugInitializeWeights(hidden_layer_size,num_labels) X = debugInitializeWeights(input_layer_size-1,m) y = 1+np.transpose(np.mod(np.arange(1,m+1), num_labels))# 初始化y y = y.reshape(-1,1) nn_params = np.vstack((initial_Theta1.reshape(-1,1),initial_Theta2.reshape(-1,1))) #展開theta '''BP求出梯度''' grad = nnGradient(nn_params, input_layer_size, hidden_layer_size, num_labels, X, y, Lambda) '''使用數(shù)值法計算梯度''' num_grad = np.zeros((nn_params.shape[0])) step = np.zeros((nn_params.shape[0])) e = 1e-4 for i in range(nn_params.shape[0]): step[i] = e loss1 = nnCostFunction(nn_params-step.reshape(-1,1), input_layer_size, hidden_layer_size, num_labels, X, y, Lambda) loss2 = nnCostFunction(nn_params+step.reshape(-1,1), input_layer_size, hidden_layer_size, num_labels, X, y, Lambda) num_grad[i] = (loss2-loss1)/(2*e) step[i]=0 # 顯示兩列比較 res = np.hstack((num_grad.reshape(-1,1),grad.reshape(-1,1))) print res
權(quán)重的隨機(jī)初始化
神經(jīng)網(wǎng)絡(luò)不能像邏輯回歸那樣初始化theta為0,因為若是每條邊的權(quán)重都為0，每個神經(jīng)元都是相同的輸出，在反向傳播中也會得到同樣的梯度，最終只會預(yù)測一種結(jié)果。
所以應(yīng)該初始化為接近0的數(shù)
實現(xiàn)代碼
# 隨機(jī)初始化權(quán)重theta def randInitializeWeights(L_in,L_out): W = np.zeros((L_out,1+L_in)) # 對應(yīng)theta的權(quán)重 epsilon_init = (6.0/(L_out+L_in))**0.5 W = np.random.rand(L_out,1+L_in)*2*epsilon_init-epsilon_init # np.random.rand(L_out,1+L_in)產(chǎn)生L_out*(1+L_in)大小的隨機(jī)矩陣 return W
預(yù)測
正向傳播預(yù)測結(jié)果
實現(xiàn)代碼
# 預(yù)測
def predict(Theta1,Theta2,X):
m = X.shape[0]
num_labels = Theta2.shape[0]
#p = np.zeros((m,1))
'''正向傳播，預(yù)測結(jié)果'''
X = np.hstack((np.ones((m,1)),X))
h1 = sigmoid(np.dot(X,np.transpose(Theta1)))
h1 = np.hstack((np.ones((m,1)),h1))
h2 = sigmoid(np.dot(h1,np.transpose(Theta2)))
'''
返回h中每一行最大值所在的列號
- np.max(h, axis=1)返回h中每一行的最大值（是某個數(shù)字的最大概率）
- 最后where找到的最大概率所在的列號（列號即是對應(yīng)的數(shù)字）
'''
#np.savetxt("h2.csv",h2,delimiter=',')
p = np.array(np.where(h2[0,:] == np.max(h2, axis=1)[0]))
for i in np.arange(1, m):
t = np.array(np.where(h2[i,:] == np.max(h2, axis=1)[i]))
p = np.vstack((p,t))
return p
輸出結(jié)果
梯度檢查：
隨機(jī)顯示100個手寫數(shù)字
顯示theta1權(quán)重
訓(xùn)練集預(yù)測準(zhǔn)確度
歸一化后訓(xùn)練集預(yù)測準(zhǔn)確度
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了python實現(xiàn)京東秒殺功能，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-07-07
這篇文章主要介紹了?Python?匿名函數(shù)lambda，??lambda?????函數(shù)返回函數(shù)本身而不是將其賦值給一個變量名。所以它也被稱為匿名函數(shù)，下文更多相關(guān)內(nèi)容需要的小伙伴可以參考一下2022-03-03
Python3.7 版本 lxml 模塊無法導(dǎo)入etree 問題及解決方法
這篇文章主要介紹了Python3.7 版本 lxml 模塊無法導(dǎo)入etree 問題及解決方法,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友參考下吧2024-01-01
Python進(jìn)階之遞歸函數(shù)的用法及其示例
本篇文章主要介紹了Python進(jìn)階之遞歸函數(shù)的用法及其示例，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-01-01
python中l(wèi)ambda函數(shù) list comprehension 和 zip函數(shù)使用指南
這篇文章主要介紹了python中l(wèi)ambda函數(shù) list comprehension 和 zip函數(shù)使用方法，非常的實用，有需要的朋友可以參考下2014-09-09
python logging 日志輪轉(zhuǎn)文件不刪除問題的解決方法
最近在維護(hù)項目的python項目代碼，項目使用了 python 的日志模塊 logging， 設(shè)定了保存的日志數(shù)目， 不過沒有生效，還要通過contab定時清理數(shù)據(jù)2016-08-08
下面小編就為大家分享一篇解決python刪除文件的權(quán)限錯誤問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
今天小編就為大家分享一篇python實現(xiàn)兩個字典合并,兩個list合并，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
FFmpeg是業(yè)內(nèi)有名的開源圖像視頻處理程序,在許多視頻剪輯軟件、圖像處理軟件中,都使用的FFmpeg,還有比如OBS這樣的導(dǎo)播軟件里面也使用了FFmpeg,FFmpeg的功能十分強大,遠(yuǎn)不止視頻壓縮的功能,本文介紹使用FFmpeg來無損壓縮視頻文件的操作方法,感興趣的朋友一起看看吧2023-12-12
這篇文章主要介紹了python基礎(chǔ)知識之私有屬性和私有方法,本文通過實例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-03-03