TensorFlow梯度求解tf.gradients實例
更新時間：2020年02月04日 11:17:35 作者：yqtaowhu
今天小編就為大家分享一篇TensorFlow梯度求解tf.gradients實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
我就廢話不多說了，直接上代碼吧！
import tensorflow as tf w1 = tf.Variable([[1,2]]) w2 = tf.Variable([[3,4]]) res = tf.matmul(w1, [[2],[1]]) grads = tf.gradients(res,[w1]) with tf.Session() as sess: tf.global_variables_initializer().run() print sess.run(res) print sess.run(grads)
輸出結果為：
[[4]] [array([[2, 1]], dtype=int32)]
可以這樣看res與w1有關，w1的參數設為[a1,a2],則：
2*a1 + a2 = res
所以res對a1,a2求導可得 [[2,1]]為w1對應的梯度信息。
import tensorflow as tf
def gradient_clip(gradients, max_gradient_norm):
"""Clipping gradients of a model."""
clipped_gradients, gradient_norm = tf.clip_by_global_norm(
gradients, max_gradient_norm)
gradient_norm_summary = [tf.summary.scalar("grad_norm", gradient_norm)]
gradient_norm_summary.append(
tf.summary.scalar("clipped_gradient", tf.global_norm(clipped_gradients)))
return clipped_gradients
w1 = tf.Variable([[3.0,2.0]])
# w2 = tf.Variable([[3,4]])
params = tf.trainable_variables()
res = tf.matmul(w1, [[3.0],[1.]])
opt = tf.train.GradientDescentOptimizer(1.0)
grads = tf.gradients(res,[w1])
clipped_gradients = gradient_clip(grads,2.0)
global_step = tf.Variable(0, name='global_step', trainable=False)
#update = opt.apply_gradients(zip(clipped_gradients,params), global_step=global_step)
with tf.Session() as sess:
tf.global_variables_initializer().run()
print sess.run(res)
print sess.run(grads)
print sess.run(clipped_gradients)
以上這篇TensorFlow梯度求解tf.gradients實例就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了pycharm使用sftp同步服務器,其實完全可以結合frp進行內網穿透，本文分步驟給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-03-03
這篇文章主要介紹了Python實現比較撲克牌大小程序代碼示例，具有一定借鑒價值，需要的朋友可以了解下。2017-12-12
這篇文章主要介紹了Python目錄下文件讀取方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08
今天小編就為大家分享一篇OPENCV去除小連通區(qū)域,去除孔洞的實例講解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
這篇文章主要介紹了Python numpy.power()函數使用說明，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03
Python列表切片賦值是一種將一個列表的特定部分替換為新的元素的操作,本文主要介紹了python列表的切片賦值實現,具有一定的參考價值,感興趣的可以了解一下2024-03-03
這篇文章主要介紹了python調用opencv實現貓臉檢測功能，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-01-01
本文將為大家詳細講解如何使用CIFR10數據集訓練模型以及用訓練好的模型做預測。代碼具有一定價值，感興趣的小伙伴可以學習一下2021-11-11
這篇文章主要介紹了Python快速排序算法,簡單說明了快速排序算法的原理、實現步驟,并結合具體實例分析了Python實現快速排序的相關操作技巧,需要的朋友可以參考下2017-11-11
這篇文章主要介紹了使用Python來編寫HTTP服務器的超級指南,同時介紹了基于Python框架的web服務器的編寫方法,譯文從理論到實現講得都很生動詳細,十分推薦!需要的朋友可以參考下2016-02-02