解決Pytorch訓練過程中l(wèi)oss不下降的問題
更新時間：2020年01月02日 08:48:40 作者：貓猬獸
今天小編就為大家分享一篇解決Pytorch訓練過程中l(wèi)oss不下降的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
在使用Pytorch進行神經(jīng)網(wǎng)絡訓練時，有時會遇到訓練學習率不下降的問題。出現(xiàn)這種問題的可能原因有很多，包括學習率過小，數(shù)據(jù)沒有進行Normalization等。不過除了這些常規(guī)的原因，還有一種難以發(fā)現(xiàn)的原因：在計算loss時數(shù)據(jù)維數(shù)不匹配。
下面是我的代碼：
loss_function = torch.nn.MSE_loss() optimizer.zero_grad() output = model(x_train) loss = loss_function(output, y_train) loss.backward() optimizer.step()
要特別注意計算loss時網(wǎng)絡輸出值output和真實值y_train的維數(shù)必須完全匹配，否則訓練誤差不下降，無法訓練。這種錯誤在訓練一維數(shù)據(jù)時很容易忽略，要十分注意。
以上這篇解決Pytorch訓練過程中l(wèi)oss不下降的問題就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
python的paramiko模塊實現(xiàn)遠程控制和傳輸示例
本篇文章主要介紹了python的paramiko模塊實現(xiàn)遠程控制和傳輸示例，非常具有實用價值，需要的朋友可以參考下2017-10-10
在本篇文章里小編給大家分享了關于Python中添加自定義模塊的實例方法，需要的朋友們可以學習下。2020-06-06
這篇文章主要介紹了django表單的Widgets,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-07-07
本篇提供了pygame播放視頻的兩個方案，第一個方案是網(wǎng)上找的現(xiàn)成的，第二個方案則是參考了opencv（主流方案）自己逆向思維做的，還未經(jīng)過實際驗證，感興趣的朋友跟隨小編一起看看吧2023-11-11
這篇文章主要介紹了Python循環(huán)作用域與閉包，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-03-03
今天帶大家了解python異常捕獲及標簽過濾,文中有非常詳細的代碼示例,對正在學習python爬蟲的小伙伴們很有幫助,需要的朋友可以參考下2021-05-05
python基于pygame實現(xiàn)飛機大作戰(zhàn)小游戲
這篇文章主要為大家詳細介紹了python基于pygame實現(xiàn)飛機大作戰(zhàn)小游戲，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-11-11
python實現(xiàn)簡易內(nèi)存監(jiān)控
這篇文章主要介紹了python實現(xiàn)簡易內(nèi)存監(jiān)控，每隔3秒獲取系統(tǒng)內(nèi)存，當內(nèi)存超過設定的警報值時，獲取所有進程占用內(nèi)存并發(fā)出警報聲，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-06-06
python已協(xié)程方式處理任務實現(xiàn)過程
這篇文章主要介紹了python已協(xié)程方式處理任務實現(xiàn)過程,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-12-12
這篇文章主要介紹了基于python實現(xiàn)生成指定大小txt文檔,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-07-07