腳本之家服務器常用軟件

快捷導航

Pytorch實現(xiàn)網(wǎng)絡部分層的固定不進行回傳更新問題及思路詳解

更新時間：2021年08月25日 10:52:01 作者：呆呆象呆呆

這篇文章主要介紹了Pytorch實現(xiàn)網(wǎng)絡部分層的固定不進行回傳更新,實現(xiàn)思路就是利用tensor的requires_grad，每一個tensor都有自己的requires_grad成員，值只能為True和False，具體內(nèi)容詳情跟隨小編一起看看吧

實際問題

Pytorch有的時候需要對一些層的參數(shù)進行固定，這些層不進行參數(shù)的梯度更新

問題解決思路

那么從理論上來說就有兩種辦法

優(yōu)化器初始化的時候不包含這些不想被更新的參數(shù)，這樣他們會進行梯度回傳，但是不會被更新
將這些不會被更新的參數(shù)梯度歸零，或者不計算它們的梯度

思路就是利用tensor的requires_grad，每一個tensor都有自己的requires_grad成員，值只能為True和False。我們對不需要參與訓練的參數(shù)的requires_grad設置為False。

在optim參數(shù)模型參數(shù)中過濾掉requires_grad為False的參數(shù)。
還是以上面搭建的簡單網(wǎng)絡為例，我們固定第一個卷積層的參數(shù)，訓練其他層的所有參數(shù)。

代碼實現(xiàn)

class Net(nn.Module):
    def __init__(self):
        super(Net,self).__init__()
        self.conv1 = nn.Conv2d(3,32,3)
        self.conv2 = nn.Conv2d(32,24,3)
        self.prelu = nn.PReLU()
        for m in self.modules():
            if isinstance(m,nn.Conv2d):
                nn.init.xavier_normal_(m.weight.data)
                nn.init.constant_(m.bias.data,0)
            if isinstance(m,nn.Linear):
                m.weight.data.normal_(0.01,0,1)
                m.bias.data.zero_()
    def forward(self, input):
        out = self.conv1(input)
        out = self.conv2(out)
        out = self.prelu(out)
        return out

遍歷第一層的參數(shù)，然后為其設置requires_grad

model = Net()
for name, p in model.named_parameters():
    if name.startswith('conv1'):
        p.requires_grad = False
        
optimizer = torch.optim.Adam(filter(lambda x: x.requires_grad is not False ,model.parameters()),lr= 0.2)

為了驗證一下我們的設置是否正確，我們分別看看model中的參數(shù)的requires_grad和optim中的params_group()。

for p in model.parameters():
    print(p.requires_grad)

能看出優(yōu)化器僅僅對requires_grad為True的參數(shù)進行迭代優(yōu)化。

LAST 參考文獻

Pytorch中，動態(tài)調(diào)整學習率、不同層設置不同學習率和固定某些層訓練的方法_我的博客有點東西-CSDN博客

到此這篇關(guān)于Pytorch實現(xiàn)網(wǎng)絡部分層的固定不進行回傳更新的文章就介紹到這了,更多相關(guān)Pytorch網(wǎng)絡部分層內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

Pytorch實現(xiàn)網(wǎng)絡部分層的固定不進行回傳更新問題及思路詳解

目錄

實際問題

問題解決思路

代碼實現(xiàn)

LAST 參考文獻

相關(guān)文章

最新評論

大家感興趣的內(nèi)容

最近更新的內(nèi)容

常用在線小工具