tensorflow 查看梯度方式
更新時間：2020年02月04日 10:53:36 作者：zyr523
今天小編就為大家分享一篇tensorflow 查看梯度方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
1. 為什么要查看梯度
對于初學者來說網絡經常不收斂，loss很奇怪（就是不收斂），所以懷疑是反向傳播中梯度的問題
（1）求導之后的數(shù)（的絕對值）越來越?。ㄚ吔?），這就是梯度消失
（2）求導之后的數(shù)（的絕對值）越來越大（特別大，發(fā)散），這就是梯度爆炸
所以說呢，當loss不正常時，可以看看梯度是否處于爆炸，或者是消失了，梯度爆炸的話，網絡中的W也會很大，人工控制一下（初始化的時候弄小點等等肯定還有其它方法，只是我不知道，知道的大神也可以稍微告訴我一下~~），要是梯度消失，可以試著用用resnet,densenet之類的
2. tensorflow中如何查看梯度
tf.gradients(y,x)這里的就是y對于x的導數(shù)（dy/dx）,x和y一定要有關聯(lián)哦~
直接tf.gradients(y_, weight1)就可以了~
以上這篇tensorflow 查看梯度方式就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
對python中arange()和linspace()的區(qū)別說明
這篇文章主要介紹了對python中arange()和linspace()的區(qū)別說明，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
使用Node.js和Socket.IO擴展Django的實時處理功能
這篇文章主要介紹了使用Node.js和Socket.IO擴展Django的實時處理功能,用異步處理實時功能是相當強大的,文中給出的例子是建立一個實時聊天室,需要的朋友可以參考下2015-04-04
這篇文章主要介紹了python-web根據(jù)元素屬性進行定位的方法，本文給大家介紹的非常詳細，具有一定的參考借鑒價值,需要的朋友可以參考下2019-12-12
本文主要介紹了python讀取.data文件的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-02-02
這篇文章主要介紹了Python生成隨機數(shù)字和字符詳情，random是python自帶庫，使用前導入import?random即可，更多相關內容需要的朋友可以參考一下2022-07-07
PaddleOCR可以在圖像、文本、表格等多種場景下進行文字識別,本文主要介紹了Python使用paddleOCR批量識別pdf的方法,具有一定的參考價值,感興趣的可以了解一下2024-03-03
Python使用?TCP協(xié)議實現(xiàn)智能聊天機器人功能
TCP協(xié)議適用于對效率要求相對較低而準確性要求很高的場合，下面通過本文給大家介紹基于Python?使用?TCP?實現(xiàn)智能聊天機器人,需要的朋友可以參考下2022-05-05
Django REST framework 分頁的實現(xiàn)代碼
這篇文章主要介紹了Django REST framework 分頁的實現(xiàn)代碼，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-06-06
今天給大家?guī)淼氖顷P于Python的相關知識,文章圍繞著Python中常用的conda命令行操作展開,文中有非常詳細的介紹及代碼示例,需要的朋友可以參考下2021-06-06
這篇文章主要給大家介紹了關于如何利用Python校準本地時間的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者使用Python具有一定的參考學習價值，需要的朋友們下面來一起學習學習吧2019-10-10