TensorFlow的自動求導原理分析
更新時間：2021年05月26日 11:48:03 作者：qq_25094489
這篇文章主要介紹了TensorFlow的自動求導原理分析，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
原理：
TensorFlow使用的求導方法稱為自動微分（Automatic Differentiation），它既不是符號求導也不是數(shù)值求導，而類似于將兩者結合的產(chǎn)物。
最基本的原理就是鏈式法則，關鍵思想是在基本操作（op）的水平上應用符號求導，并保持中間結果（grad）。
基本操作的符號求導定義在\tensorflow\python\ops\math_grad.py文件中，這個文件中的所有函數(shù)都用RegisterGradient裝飾器包裝了起來，這些函數(shù)都接受兩個參數(shù)op和grad，參數(shù)op是操作，第二個參數(shù)是grad是之前的梯度。
鏈式求導代碼：
舉個例子：
補充：聊聊Tensorflow自動求導機制
自動求導機制
在即時執(zhí)行模式下，Tensorflow引入tf.GradientTape()這個“求導記錄器”來實現(xiàn)自動求導。
計算函數(shù)y(x)=x^2在x = 3時的導數(shù)：
import tensorflow as tf
#定義變量
x = tf.Variable(initial_value = 3.)
#在tf.GradientTape()的上下文內，所有計算步驟都會被記錄以用于求導
with tf.GradientTape() as tape:
#y = x^2
y = tf.square(x)
#計算y關于x的導數(shù)(斜率，梯度)
y_grad = tape.gradient(y,x)
print([y,y_grad])
輸出：
[<tf.Tensor: shape=(), dtype=float32, numpy=9.0>, <tf.Tensor: shape=(), dtype=float32, numpy=6.0>]
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
python如何獲得list或numpy數(shù)組中最大元素對應的索引
這篇文章主要介紹了python如何獲得list或numpy數(shù)組中最大元素對應的索引，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-11-11
Python itertools.product方法代碼實例
這篇文章主要介紹了Python itertools.product方法代碼實例,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-03-03
CSRF（Cross-site?request?forgery）攻擊是一種常見的網(wǎng)絡安全漏洞,它可以通過欺騙用戶執(zhí)行惡意請求來攻擊?Web?應用程序,本篇文章將介紹python?flask是如何預防CSRF攻擊,需要的朋友可以參考下2024-04-04
這篇文章主要介紹了基于Python手寫拼音識別，因項目組需要使用到拼寫識別,考慮到每個字母的復雜度不高,所以使用KNN算法來嘗試實現(xiàn)，下面來看看具體實現(xiàn)詳情吧，需要的小伙伴也可以參考一下2022-01-01
這篇文章主要介紹了pandas去除重復列的實現(xiàn)方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-01-01
Python網(wǎng)絡爬蟲神器PyQuery的基本使用教程
這篇文章主要給大家介紹了關于Python網(wǎng)絡爬蟲神器PyQuery的基本使用教程，文中通過示例代碼介紹的非常詳細，對大家學習使用PyQuery具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧。2018-02-02
在本篇文章里小編給大家整理的是關于Python四種逐行讀取文件內容的方法，有興趣的朋友們可以學習下。2020-02-02
這篇文章主要介紹了詳解PyCharm配置Anaconda的艱難心路歷程,小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-08-08
Python 使用 docopt 解析json參數(shù)文件過程講解
這篇文章主要介紹了Python 使用 docopt 解析json參數(shù)文件過程講解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-08-08
為2021年的第一場雪錦上添花:用matplotlib繪制雪花和雪景
這篇文章主要介紹了為2021年的第一場雪錦上添花:用matplotlib繪制雪花和雪景，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-01-01