Pytorch神經網絡參數管理方法詳細講解
這里記錄一下pytorch神經網絡參數管理方法(參數訪問、參數初始化、參數綁定),方便自己和需要的朋友學習、查閱。
一、參數訪問
1.1 訪問指定層的指定參數
首先構建一個多層感知機。
import torch from torch import nn net = nn.Sequential(nn.Linear(2, 4), nn.ReLU(), nn.Linear(4, 1)) X = torch.rand(size=(2, 2))
當通過nn.Sequential定義模型時, 我們可以通過索引來訪問模型的任意層。 這就像模型是一個列表一樣,每層的參數都在其屬性中。 如下所示,我們可以檢查任意一個全連接層的參數。
# 1 查看網絡第一層(即第一個全連接層)的參數 print(net[0].state_dict()) # 2 查看網絡第三層(即第二個全連接層)偏置參數的類型 print(type(net[2].bias)) # 3 查看網絡第三層(即第二個全連接層)偏置參數 print(net[2].bias) # 4 查看網絡第三層(即第二個全連接層)偏置參數的值 print(net[2].bias.data) # 5 查看網絡第一層(即第一個全連接層)權重參數 print(net[0].weight) # 6 查看網絡第二層 print(net[1])
結果分別如下所示:
# 1 OrderedDict([('weight', tensor([[ 0.0854, 0.1861], [ 0.5421, 0.2435], [ 0.5745, 0.2469], [ 0.4120, -0.4345]])), ('bias', tensor([ 0.3356, 0.4215, 0.2181, -0.2548]))]) # 2 <class 'torch.nn.parameter.Parameter'> # 3 Parameter containing: tensor([-0.1606], requires_grad=True) # 4 tensor([-0.1606]) # 5 Parameter containing: tensor([[-0.4710, 0.0820], [-0.5563, 0.0728], [ 0.1691, 0.2211], [ 0.4279, -0.5597]], requires_grad=True) # 6 ReLU()
可以看出,每個參數都表示為參數類的一個實例,要對參數執(zhí)行任何操作,首先需要訪問底層的數值。網絡層數從0開始,即net[0]表示網絡第一層,激活函數也是網絡中的一層。
訪問偏置使用basis屬性,訪問權重使用weight屬性。參數是復合的對象,包含值、梯度和額外信息。若只想獲取參數的值,要在basis或weight后加data屬性。除了值之外,我們還可以訪問每個參數的梯度。
print(net[2].weight.grad == None) # 結果為 True # 原因:由于還沒有調用反向傳播,所以參數的梯度處于初始狀態(tài)
1.2 訪問某一層或整個網絡的所有參數
當需要對所有參數執(zhí)行操作時,逐個訪問它們可能會很麻煩,此時我們可以通過遞歸整個樹來提取每個子塊的參數。
# 1 訪問第一層的所有參數 print(*[(name, param.shape) for name, param in net[0].named_parameters()]) # 2 訪問網絡所有層的全部參數 print(*[(name, param.shape) for name, param in net.named_parameters()])
結果如下:
# 1
('weight', torch.Size([4, 2])) ('bias', torch.Size([4]))
# 2
('0.weight', torch.Size([4, 2])) ('0.bias', torch.Size([4])) ('2.weight', torch.Size([1, 4])) ('2.bias', torch.Size([1]))
注意:激活函數沒有參數,所以打印出來的網絡的所有參數只有兩個全連接層的參數。
此外,我們還可以通過下述方式訪問網絡參數。
# 訪問第網絡第三層的偏置參數的值 print(net.state_dict()['2.bias'].data)
結果如下:
tensor([-0.1089])
如果不使用nn.Sequential定義模型,而是自己定義一個類實現網絡,則不能使用索引訪問指定層的參數。如下所示:
class mlp(nn.Module): def __init__(self, input_size, output_size): super().__init__() self.linear1 = nn.Linear(input_size, 4) # 全連接層 self.relu = nn.ReLU() self.linear2 = nn.Linear(4, output_size) # 全連接層 def forward(self, x): x = self.linear1(x) return self.relu(self.linear2(x)) mlp_net= mlp(2, 1) X = torch.rand(size=(2, 2)) # 如果使用索引訪問會報錯 print(mlp_net[0].state_dict())
此時會輸出如下結果:
Traceback (most recent call last):
File "E:/SoftwareLearning/Python/Code/d2l-Train/ParameterManagement.py", line 46, in <module>
print(mlp_net[0].state_dict())
TypeError: 'mlp' object is not subscriptable
但可以通過下述方式進行訪問:
# linear2為定義網絡模型時自己起的某一全連接層的名稱 print(mlp_net.state_dict()['linear2.bias'].data)
輸出結果如下:
tensor([0.3709])
1.3 訪問嵌套塊的指定參數
首先構建一個嵌套塊的網絡。
def block1(): return nn.Sequential(nn.Linear(4, 8), nn.ReLU(), nn.Linear(8, 4), nn.ReLU()) def block2(): net = nn.Sequential() for i in range(4): # 在這里嵌套 net.add_module(f'block {i}', block1()) return net # 實例化 rgnet = nn.Sequential(block2(), nn.Linear(4, 1)) # 查看網絡結構 print(rgnet)
輸出結果如下:
Sequential(
(0): Sequential(
(block 0): Sequential(
(0): Linear(in_features=4, out_features=8, bias=True)
(1): ReLU()
(2): Linear(in_features=8, out_features=4, bias=True)
(3): ReLU()
)
(block 1): Sequential(
(0): Linear(in_features=4, out_features=8, bias=True)
(1): ReLU()
(2): Linear(in_features=8, out_features=4, bias=True)
(3): ReLU()
)
(block 2): Sequential(
(0): Linear(in_features=4, out_features=8, bias=True)
(1): ReLU()
(2): Linear(in_features=8, out_features=4, bias=True)
(3): ReLU()
)
(block 3): Sequential(
(0): Linear(in_features=4, out_features=8, bias=True)
(1): ReLU()
(2): Linear(in_features=8, out_features=4, bias=True)
(3): ReLU()
)
)
(1): Linear(in_features=4, out_features=1, bias=True)
)
因為是分層嵌套的,所以我們也可以像通過嵌套列表索引一樣訪問它們。下面,我們訪問第一個主要的塊中第二個子塊的第一層的權重項。
print(rgnet[0][1][0].weight.data)
輸出結果如下:
tensor([[ 0.3175, 0.0233, 0.3233, -0.0627],
[-0.0835, -0.3371, -0.4527, 0.0141],
[ 0.1070, 0.3952, 0.4051, 0.3921],
[ 0.1958, -0.3643, 0.4481, -0.3448],
[ 0.0446, -0.0256, 0.1490, 0.4568],
[-0.1352, -0.2099, -0.1225, -0.0413],
[ 0.3027, 0.2114, -0.4063, -0.0288],
[-0.4594, 0.0076, -0.2671, 0.2669]])
二、參數初始化
初始化對神經網絡來說十分重要,良好的初始化能幫助模型快速收斂,對保持網絡的數值穩(wěn)定性至關重要。默認情況下,PyTorch會根據一個范圍均勻地初始化權重和偏置矩陣,這個范圍是根據輸入和輸出維度計算出的。PyTorch的nn.init
模塊提供了多種預置初始化方法。
2.1 內置初始化
首先調用內置的初始化器對網絡參數進行初始化。下面的代碼將所有權重參數初始化為標準差為0.01的高斯隨機變量, 且將偏置參數設置為0。
# 將所有權重參數初始化為標準差為0.01的高斯隨機變量, 且將偏置參數設置為0 def init_normal(m): if type(m) == nn.Linear: # 將權重參數初始化為標準差為0.01的高斯隨機變量 nn.init.normal_(m.weight, mean=0, std=0.01) # 將偏置參數初始化為0 nn.init.zeros_(m.bias) net.apply(init_normal) print(net[0].weight.data[0], '\n', net[0].bias.data[0])
輸出結果如下:
tensor([-0.0142, -0.0054])
tensor(0.)
我們還可以將所有參數初始化為給定的常數,比如初始化為1。
# 將所有參數初始化為給定的常數 def init_constant(m): if type(m) == nn.Linear: nn.init.constant_(m.weight, 1) nn.init.zeros_(m.bias) net.apply(init_constant) print(net[0].weight.data[0], net[0].bias.data[0])
輸出結果如下:
tensor([1., 1.])
tensor(0.)
我們還可以對不同層應用不同的初始化方法。 例如,下面我們使用Xavier初始化方法初始化第一個神經網絡層, 然后將第三個神經網絡層初始化為常量值42。
def xavier(m): if type(m) == nn.Linear: nn.init.xavier_uniform_(m.weight) def init_42(m): if type(m) == nn.Linear: nn.init.constant_(m.weight, 42) # 使用Xavier初始化方法初始化第一個神經網絡層, 然后將第三個神經網絡層初始化為常量值42 net[0].apply(xavier) net[2].apply(init_42) print(net[0].weight.data[0]) print(net[2].weight.data)
輸出結果如下:
tensor([ 0.9265, -0.1521])
tensor([[42., 42., 42., 42.]])
2.2 自定義初始化
有時,深度學習框架沒有提供我們需要的初始化方法,此時就需要我們自定義初始化方法實現參數初始化。
# 自定義初始化 def my_init(m): if type(m) == nn.Linear: print("Init", *[(name, param.shape) for name, param in m.named_parameters()][0]) nn.init.uniform_(m.weight, -10, 10) # 均勻分布 # 如果絕對值大于5則參數不變,如果絕對值小于5則將參數置0 m.weight.data *= m.weight.data.abs() >= 5 net.apply(my_init) print(net[0].weight[:2])
輸出結果如下:
Init weight torch.Size([4, 2])
Init weight torch.Size([1, 4])
tensor([[ 6.6987, -5.3545],
[ 6.6684, -6.3039]], grad_fn=<SliceBackward0>)
也可以根據需要直接對指定層的參數進行設置。
net[0].weight.data[:] += 1
net[0].weight.data[0, 0] = 42
print(net[0].weight.data[0])
輸出結果如下:
Init weight torch.Size([4, 2])
Init weight torch.Size([1, 4])
tensor([42.0000, 8.5777])
三、參數綁定
有時我們希望在多個層間共享參數,此時,我們可以定義一個全連接層,然后使用它的參數來設置另一個層的參數,實現參數共享。
shared = nn.Linear(8, 8) net = nn.Sequential(nn.Linear(4, 8), nn.ReLU(), shared, nn.ReLU(), shared, nn.ReLU(), nn.Linear(8, 1)) print(net(X)) # 檢查參數是否相同 print(net[2].weight.data[0] == net[4].weight.data[0]) net[2].weight.data[0, 0] = 100 # 確保它們實際上是同一個對象,而不只是有相同的值 print(net[2].weight.data[0] == net[4].weight.data[0])
輸出結果如下:
tensor([[0.4362],
[0.4562]], grad_fn=<AddmmBackward0>)
tensor([True, True, True, True])
tensor([True, True, True, True])
這個例子表明第三個和第五個神經網絡層的參數是綁定的。它們不僅值相等,而且由相同的張量表示。因此,如果我們改變其中一個參數,另一個參數也會改變。你可能會思考:當參數綁定時,梯度會發(fā)生什么情況? 答案是由于模型參數包含梯度,因此在反向傳播期間第二個隱藏層 (即第三個神經網絡層)和第三個隱藏層(即第五個神經網絡層)的梯度會加在一起。
四、全部測試代碼
全部測試代碼如下。
import torch from torch import nn class mlp(nn.Module): def __init__(self, input_size, output_size): super().__init__() self.linear1 = nn.Linear(input_size, 4) # 全連接層 self.relu = nn.ReLU() self.linear2 = nn.Linear(4, output_size) # 全連接層 def forward(self, x): x = self.linear1(x) return self.relu(self.linear2(x)) def block1(): return nn.Sequential(nn.Linear(4, 8), nn.ReLU(), nn.Linear(8, 4), nn.ReLU()) def block2(): net = nn.Sequential() for i in range(4): # 在這里嵌套 net.add_module(f'block {i}', block1()) return net net = nn.Sequential(nn.Linear(2, 4), nn.ReLU(), nn.Linear(4, 1)) X = torch.rand(size=(2, 2)) print(net(X)) # 當通過Sequential類定義模型時,可以通過索引來訪問模型的任意層。這就像模型是一個列表一樣,每層的參數都在其屬性中。 print(net[0].state_dict()) print(type(net[2].bias)) print(net[2].bias) print(net[2].bias.data) print(net[0].weight) print(net[1]) print(net[2].weight.grad == None) # 一次性訪問所有參數 print(*[(name, param.shape) for name, param in net[0].named_parameters()]) print(*[(name, param.shape) for name, param in net.named_parameters()]) # 訪問網絡參數的另一種方式 print(net.state_dict()['2.bias'].data) # 不使用nn.Sequential定義模型 mlp_net = mlp(2, 1) X = torch.rand(size=(2, 2)) print(mlp_net(X)) # 不能使用索引訪問某一層的參數,會報錯 # print(mlp_net[0].state_dict()) print(mlp_net.state_dict()['linear2.bias'].data) # 從嵌套塊收集參數 rgnet = nn.Sequential(block2(), nn.Linear(4, 1)) print(rgnet) # 訪問第一個主要的塊中、第二個子塊的第一層的權重 print(rgnet[0][1][0].weight.data) # 參數初始化 # 將所有權重參數初始化為標準差為0.01的高斯隨機變量, 且將偏置參數設置為0 def init_normal(m): if type(m) == nn.Linear: nn.init.normal_(m.weight, mean=0, std=0.01) nn.init.zeros_(m.bias) # 將所有參數初始化為給定的常數 def init_constant(m): if type(m) == nn.Linear: nn.init.constant_(m.weight, 1) nn.init.zeros_(m.bias) net.apply(init_normal) print(net[0].weight.data[0], '\n', net[0].bias.data[0]) net.apply(init_constant) print(net[0].weight.data[0], '\n', net[0].bias.data[0]) def xavier(m): if type(m) == nn.Linear: nn.init.xavier_uniform_(m.weight) def init_42(m): if type(m) == nn.Linear: nn.init.constant_(m.weight, 42) # 使用Xavier初始化方法初始化第一個神經網絡層, 然后將第三個神經網絡層初始化為常量值42 net[0].apply(xavier) net[2].apply(init_42) print(net[0].weight.data[0]) print(net[2].weight.data) # 自定義初始化 def my_init(m): if type(m) == nn.Linear: print("Init", *[(name, param.shape) for name, param in m.named_parameters()][0]) nn.init.uniform_(m.weight, -10, 10) m.weight.data *= m.weight.data.abs() >= 5 net.apply(my_init) print(net[0].weight[:2]) # 也可以直接設置參數 net[0].weight.data[:] += 1 net[0].weight.data[0, 0] = 42 print(net[0].weight.data[0]) # 參數綁定 # 有時我們希望在多個層間共享參數:我們可以定義一個稠密層,然后使用它的參數來設置另一個層的參數 # 我們需要給共享層一個名稱,以便可以引用它的參數 shared = nn.Linear(4, 4) net = nn.Sequential(nn.Linear(2, 4), nn.ReLU(), shared, nn.ReLU(), shared, nn.ReLU(), nn.Linear(4, 1)) print(net(X)) # 檢查參數是否相同 print(net[2].weight.data[0] == net[4].weight.data[0]) net[2].weight.data[0, 0] = 100 # 確保它們實際上是同一個對象,而不只是有相同的值 print(net[2].weight.data[0] == net[4].weight.data[0])
到此這篇關于Pytorch神經網絡參數管理方法詳細講解的文章就介紹到這了,更多相關Pytorch神經網絡參數管理內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
基于SQLAlchemy實現操作MySQL并執(zhí)行原生sql語句
這篇文章主要介紹了基于SQLAlchemy實現操作MySQL并執(zhí)行原生sql語句,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-06-06