Pytorch中的自動(dòng)求梯度機(jī)制和Variable類實(shí)例
自動(dòng)求導(dǎo)機(jī)制是每一個(gè)深度學(xué)習(xí)框架中重要的性質(zhì)，免去了手動(dòng)計(jì)算導(dǎo)數(shù)，下面用代碼介紹并舉例說明Pytorch的自動(dòng)求導(dǎo)機(jī)制。
首先介紹Variable，Variable是對Tensor的一個(gè)封裝，操作和Tensor是一樣的，但是每個(gè)Variable都有三個(gè)屬性：Varibale的Tensor本身的.data，對應(yīng)Tensor的梯度.grad，以及這個(gè)Variable是通過什么方式得到的.grad_fn，根據(jù)最新消息，在pytorch0.4更新后，torch和torch.autograd.Variable現(xiàn)在是同一類。torch.Tensor能像Variable那樣追蹤歷史和反向傳播。Variable仍能正確工作，但是返回的是Tensor。
我們擁抱這些新特性，看看Pytorch怎么進(jìn)行自動(dòng)求梯度。
#encoding:utf-8 import torch x = torch.tensor([2.],requires_grad=True) #新建一個(gè)tensor,允許自動(dòng)求梯度,這一項(xiàng)默認(rèn)是false. y = (x+2)**2 + 3 #y的表達(dá)式中包含x,因此y能進(jìn)行自動(dòng)求梯度 y.backward() print(x.grad)
輸出結(jié)果是：
tensor([8.])
這里添加一個(gè)小知識點(diǎn)，即torch.Tensor和torch.tensor的不同。二者均可以生成新的張量，但torch.Tensor()是python類，是默認(rèn)張量類型torch.FloatTensor()的別名，使用torch.Tensor()會(huì)調(diào)用構(gòu)造函數(shù)，生成單精度浮點(diǎn)類型的張量。
而torch.tensor()是函數(shù)，其中data可以是list,tuple,numpy,ndarray,scalar和其他類型，但只有浮點(diǎn)類型的張量能夠自動(dòng)求梯度。
torch.tensor(data, dtype=None, device=None, requires_grad=False)
言歸正傳，上一個(gè)例子的變量本質(zhì)上是標(biāo)量。下面一個(gè)例子對矩陣求導(dǎo)。
#encoding:utf-8 import torch x = torch.ones((2,4),requires_grad=True) y = torch.ones((2,1),requires_grad=True) W = torch.ones((4,1),requires_grad=True) J = torch.sum(y - torch.matmul(x,W)) #torch.matmul()表示對矩陣作乘法 J.backward() print(x.grad) print(y.grad) print(W.grad)
輸出結(jié)果是：
tensor([[-1., -1., -1., -1.], [-1., -1., -1., -1.]]) tensor([[1.], [1.]]) tensor([[-2.], [-2.], [-2.], [-2.]])
以上這篇Pytorch中的自動(dòng)求梯度機(jī)制和Variable類實(shí)例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python使用whisper實(shí)現(xiàn)語音識別(ASR)的示例代碼
Whisper是OpenAI的一個(gè)強(qiáng)大的語音識別庫,支持離線的語音識別,本文主要介紹了Python使用whisper實(shí)現(xiàn)語音識別(ASR)的示例代碼,具有一定的參考價(jià)值,感興趣的可以了解一下2024-03-03
這篇文章主要介紹了Python中的延遲綁定原理詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-10-10
Django+Bootstrap實(shí)現(xiàn)計(jì)算器的示例代碼
本文主要介紹了Django+Bootstrap實(shí)現(xiàn)計(jì)算器的示例代碼，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-11-11
這篇文章主要介紹了簡單了解python 郵件模塊的使用方法,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07
這篇文章主要介紹了Pycharm配置anaconda環(huán)境圖文教程，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-11-11
Python3利用Dlib19.7實(shí)現(xiàn)攝像頭人臉識別的方法
這篇文章主要介紹了Python 3 利用 Dlib 19.7 實(shí)現(xiàn)攝像頭人臉識別 ，利用python開發(fā)，借助Dlib庫捕獲攝像頭中的人臉，提取人臉特征，通過計(jì)算歐氏距離來和預(yù)存的人臉特征進(jìn)行對比，達(dá)到人臉識別的目的，感興趣的小伙伴們可以參考一下2018-05-05
numpy中np.append()函數(shù)用法小結(jié)
在numpy的函數(shù)庫中,np.append()函數(shù)是一個(gè)常用的數(shù)組操作函數(shù),它在進(jìn)行數(shù)組操作時(shí)能夠?qū)蓚€(gè)數(shù)組進(jìn)行拼接,并返回一個(gè)拼接后的新數(shù)組,下面就來介紹一下具體用法,感興趣的可以了解一下2023-11-11
在Python中讀取和加密PDF文件是一項(xiàng)常見且實(shí)用的任務(wù),尤其對于需要處理大量文檔自動(dòng)化處理的場景,本文將詳細(xì)介紹如何使用Python讀取PDF文件內(nèi)容以及如何使用不同的庫來給PDF文件加密,需要的朋友可以參考下2024-08-08
這篇文章主要介紹了手把手教你如何安裝Pycharm(詳細(xì)圖文教程)，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-11-11
這篇文章主要介紹了Python爬蟲基本套路，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-03-03