pytorch梯度剪裁方式
更新時(shí)間：2020年02月04日 14:54:42 作者：wang xiang
今天小編就為大家分享一篇pytorch梯度剪裁方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
我就廢話不多說(shuō)，看例子吧！
import torch.nn as nn outputs = model(data) loss= loss_fn(outputs, target) optimizer.zero_grad() loss.backward() nn.utils.clip_grad_norm_(model.parameters(), max_norm=20, norm_type=2) optimizer.step()
nn.utils.clip_grad_norm_ 的參數(shù)：
parameters – 一個(gè)基于變量的迭代器，會(huì)進(jìn)行梯度歸一化
max_norm – 梯度的最大范數(shù)
norm_type – 規(guī)定范數(shù)的類型，默認(rèn)為L(zhǎng)2
以上這篇pytorch梯度剪裁方式就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了詳解python的并發(fā)編程，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-10-10
Python爬蟲(chóng)之Spider類用法簡(jiǎn)單介紹
這篇文章主要介紹了Python爬蟲(chóng)之Spider類用法簡(jiǎn)單介紹，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08
在Heroku云平臺(tái)上部署Python的Django框架的教程
這篇文章主要介紹了在Heroku云平臺(tái)上部署Python的Django框架的教程,Heroku云平臺(tái)使用了Git版本控制系統(tǒng),所以本教程主要提供了配置所需要的Git腳本,需要的朋友可以參考下2015-04-04
淺析python實(shí)現(xiàn)布隆過(guò)濾器及Redis中的緩存穿透原理
本文帶你了解了位圖的實(shí)現(xiàn)，布隆過(guò)濾器的原理及 Python 中的使用，以及布隆過(guò)濾器如何應(yīng)對(duì) Redis 中的緩存穿透，相信你對(duì)布隆過(guò)濾器已經(jīng)有了一定的認(rèn)識(shí)2021-09-09
通過(guò)python繪制華強(qiáng)買瓜的字符畫(huà)視頻的步驟詳解
要把華強(qiáng)賣瓜做成字符視頻大概分為三步，通過(guò)讀取視頻，把每一幀轉(zhuǎn)為字符畫(huà)，接著把字符畫(huà)表現(xiàn)出來(lái)，本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，需要的朋友參考下吧2021-11-11
這篇文章主要為大家詳細(xì)介紹了基于Python QQBot庫(kù)的QQ聊天機(jī)器人，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-06-06
這篇文章主要介紹了python獲取指定路徑下所有指定后綴文件的方法,涉及Python針對(duì)文件與目錄操作的相關(guān)技巧,需要的朋友可以參考下2015-05-05
ipython jupyter notebook中顯示圖像和數(shù)學(xué)公式實(shí)例
這篇文章主要介紹了ipython jupyter notebook中顯示圖像和數(shù)學(xué)公式實(shí)例，具有很好的參考價(jià)值，希望對(duì)有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-04-04
本文將介紹如何使用Python操作MongoDB,包括安裝MongoDB、安裝Python的MongoDB驅(qū)動(dòng)程序、連接到MongoDB、插入、查詢、更新和刪除數(shù)據(jù),以及示例代碼2023-11-11
淺析python中while循環(huán)和for循環(huán)
在本篇文章里小編給各位整理的是關(guān)于python中while和for循環(huán)知識(shí)點(diǎn)詳解，有興趣的朋友們可以學(xué)習(xí)下。2019-11-11