pytorch損失反向傳播后梯度為none的問題
更新時間：2021年05月12日 17:03:03 作者：lczygogogo
這篇文章主要介紹了pytorch 出現(xiàn)損失反向傳播后梯度為none的問題，具有很好的參考價值，如有錯誤或未考慮完全的地方，望不吝賜教
錯誤代碼：輸出grad為none
a = torch.ones((2, 2), requires_grad=True).to(device) b = a.sum() b.backward() print(a.grad)
由于.to(device)是一次操作，此時的a已經(jīng)不是葉子節(jié)點了
修改后的代碼為：
a = torch.ones((2, 2), requires_grad=True) c = a.to(device) b = c.sum() b.backward() print(a.grad)
類似錯誤：
self.miu = torch.nn.Parameter(torch.ones(self.dimensional)) * 0.01
應(yīng)該為
self.miu = torch.nn.Parameter(torch.ones(self.dimensional) * 0.01)
補充：pytorch梯度返回none的bug
pytorch1.4.0如果使用了view方法，reshape方法
tensor即使設(shè)置了requires_grad，反向傳播之后， x返回沒有g(shù)rad梯度，為none
不知道其他版本有無此bug
補充：PyTorch中梯度反向傳播的注意點
在一個迭代循環(huán)中
optimizer.zero_grad()語句的位置比較隨意，只要放在loss.backward()前面即可，它的作用是將梯度歸零，否則會在每一個迭代中進行累加，
loss.backward()的作用是反向傳播，計算梯度，optimizer.step()的功能是優(yōu)化器自動完成參數(shù)的更新。
optimizer.zero_grad() loss.backward() optimizer.step()
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
下面小編就為大家?guī)硪黄猵ython基本語法練習實例。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-09-09
這篇文章主要為大家詳細介紹了Python實現(xiàn)自動上京東搶手機的方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-02-02
Python中使用threading.Event協(xié)調(diào)線程的運行詳解
這篇文章主要介紹了Python中使用threading.Event協(xié)調(diào)線程的運行詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
今天教大家利用簡單的機器學習算法實現(xiàn)垃圾郵件識別,文中有非常詳細的介紹及代碼示例,需要的朋友可以參考下2021-06-06
今天小編就為大家分享一篇Python 正則表達式匹配字符串中的http鏈接方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
Python如何在for循環(huán)中同時使用兩個變量與兩個控制條件
Python是一種廣泛使用的編程語言,其提供了許多強大的方法來處理代碼,Python?for循環(huán)是其中一種非常有用的方法,下面這篇文章主要給大家介紹了關(guān)于Python如何在for循環(huán)中同時使用兩個變量與兩個控制條件的相關(guān)資料,需要的朋友可以參考下2024-03-03
本文主要介紹了Django中session進行權(quán)限管理的使用，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-07-07
關(guān)于pandas.DataFrame的類SQL操作
這篇文章主要介紹了關(guān)于pandas.DataFrame的類SQL操作方式,具有很好的參考價值,希望對大家有所幫助,2023-08-08
最近在學習過程中發(fā)現(xiàn)在計算機JS時發(fā)現(xiàn)了一個非常有意思事,0.1+0.2的結(jié)果不是0.3,而是0.30000000000000004,下面這篇文章主要給大家介紹了關(guān)于為什么Python中0.2+0.1不等于0.3的相關(guān)資料,需要的朋友可以參考下2022-12-12
這篇文章主要介紹了python3使用scrapy生成csv文件代碼示例，具有一定借鑒價值,需要的朋友可以參考下2017-12-12