pytorch 固定部分參數(shù)訓(xùn)練的方法
更新時間：2019年08月17日 15:23:08 作者：guotong1988
今天小編就為大家分享一篇pytorch 固定部分參數(shù)訓(xùn)練的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
需要自己過濾
optimizer.SGD(filter(lambda p: p.requires_grad, model.parameters()), lr=1e-3)
另外，如果是Variable，則可以初始化時指定
j = Variable(torch.randn(5,5), requires_grad=True)
但是如果是
m = nn.Linear(10,10)
是沒有requires_grad傳入的
m.requires_grad也沒有
需要
for i in m.parameters(): i.requires_grad=False
另外一個小技巧就是在nn.Module里，可以在中間插入這個
for p in self.parameters(): p.requires_grad=False
這樣前面的參數(shù)就是False，而后面的不變
class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.conv1 = nn.Conv2d(1, 6, 5)
self.conv2 = nn.Conv2d(6, 16, 5)
for p in self.parameters():
p.requires_grad=False
self.fc1 = nn.Linear(16 * 5 * 5, 120)
self.fc2 = nn.Linear(120, 84)
self.fc3 = nn.Linear(84, 10)
以上這篇pytorch 固定部分參數(shù)訓(xùn)練的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
本文介紹使用python寫asp程序代碼，大家參考使用吧2013-12-12
圣誕節(jié)快到了，今天小編通過代碼畫顆圣誕樹，主要通過t.pensize(10) 修改畫筆大小,本文通過實例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友參考下吧2021-12-12
這篇文章主要介紹了在Django中使用Sitemap的方法講解,Django是最具人氣的Python web開發(fā)框架,需要的朋友可以參考下2015-07-07
Pycharm在使用過程中,Pycharm會生成大量緩存文件,而這些緩存文件默認(rèn)存儲在C盤的用戶目錄里面,導(dǎo)致C盤空間被占用，本文主要介紹了pycharm轉(zhuǎn)移緩存目錄，感興趣的可以了解一下2023-10-10
了解一下python內(nèi)建模塊collections
這篇文章主要介紹了Python內(nèi)建模塊——collections的相關(guān)資料，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2020-09-09
Python實現(xiàn)定時監(jiān)測網(wǎng)站運行狀態(tài)的示例代碼
這篇文章主要介紹了Python實現(xiàn)定時監(jiān)測網(wǎng)站狀態(tài)的示例代碼，幫助大家更好的管理自己的網(wǎng)站，感興趣的朋友可以了解下2020-09-09
解決Pycharm在Debug的時候一直“Connected”沒有下一步動作問題
這篇文章主要介紹了解決Pycharm在Debug的時候一直“Connected”沒有下一步動作問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08
今天小編就為大家分享一篇利用Python正則表達(dá)式過濾敏感詞的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
本文主要給大家分享的是python實現(xiàn)多線程及線程間通信的簡單方法,非常的實用,有需要的小伙伴可以參考下2020-02-02
這篇文章主要介紹了python 中如何獲取列表的索引，在文中給大家提到了python 返回列表中某個值的索引，本文通過實例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值,需要的朋友可以參考下2019-07-07