快捷導(dǎo)航

Python Pytorch深度學(xué)習(xí)之自動微分

更新時間：2021年10月28日 10:25:58 作者：柚子味的羊

今天小編就為大家分享一篇關(guān)于Pytorch自動微分的文章，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

一、簡介

antograd包是Pytorch中所有神經(jīng)網(wǎng)絡(luò)的核心。autograd為Tensor上的所有操作提供自動微分，它是一個由運(yùn)行定義的框架，這意味著以代碼運(yùn)行方式定義后向傳播，并且每一次迭代都可能不同

二、TENSOR

torch.Tensor是包的核心。

1.如果將屬性.requires_grad設(shè)置為True,則會開始跟蹤針對tensor的所有操作。

2.完成計算之后，可以調(diào)用backward()來自帶計算多有梯度。該張量的梯度將積累到.grad屬性中。

3.要停止tensor歷史記錄的跟蹤，可以調(diào)用.detach()，他將與計算歷史記錄分離，并防止將來的計算被跟蹤

4.要停止跟蹤歷史記錄（和使用內(nèi)存），可以將代碼塊使用with torch.no_grad():包裝起來。在評估模型時候，很有用，因為模型在訓(xùn)練階段具有requires_grad=True的可訓(xùn)練參數(shù)有利于調(diào)參，但是在評估階段不需要梯度

5.還有一個對于autograd實現(xiàn)非常重要的就是Function。tensor和Function互相連接并構(gòu)建一個肺循環(huán)圖，他保存整個完整的計算過程的歷史信息。每個張量都有一個.grad_fn屬性保存著創(chuàng)建了張量的Function的引用（如果用戶自己創(chuàng)建的張量，那么grad_fn是None）

6.如果想計算導(dǎo)數(shù)，可以調(diào)用Tensor.backward().如果Tensor是標(biāo)量（包含一個元素數(shù)據(jù)）則不需要指定任何參數(shù)backward(),但是如果他有更多元素，則需要指定gradient參數(shù)來指定張量的形狀

import torch
# 創(chuàng)建一個張量，設(shè)置requires_grad=True
x=torch.ones(2,2,requires_grad=True)
print(x)
# 針對張量操作
y=x+2
print(y)
print(y.grad_fn)#y作為操作的結(jié)果被創(chuàng)建，所以他有g(shù)rad_fn
# 對y操作
z=y*y*3
out=z.mean()
print(z,out)

運(yùn)行結(jié)果

在這里插入圖片描述

# 如果在變量輸入過程中沒有提供相應(yīng)參數(shù)，輸入的標(biāo)記默認(rèn)為False,requires_grad_()會改變張量的requires_grad標(biāo)記
a=torch.randn(2, 2)
a=((a*3)/(a-1))
# 前面沒有設(shè)置requires_grad，固會輸出False
print(a.requires_grad)
a.requires_grad_(True)
# 經(jīng)過上面語句的更改之后，此處應(yīng)該輸出True
print(a.requires_grad)
b=(a*a).sum()
# 輸出梯度信息
print(b.grad_fn)

運(yùn)行結(jié)果

在這里插入圖片描述

三、梯度

現(xiàn)在向后傳播，因為輸出包含了一個標(biāo)量，out,backward()等同于out.backward(torch.tensor(1,))

out.backward()#向后傳播
print(x.grad)#打印梯度

運(yùn)行結(jié)果

在這里插入圖片描述

原理

在這里插入圖片描述

四、Example——雅克比向量積

# 雅克比向量積
x=torch.randn(3,requires_grad=True)
y=x*2
print(y)
while y.data.norm()<1000:
    y=y*2
print(y)#此時y不是標(biāo)量，torch.autograd 不能夠直接計算整個雅可比，但是如果我們只想要雅可比向量積，只需要簡單的傳遞向量給 backward 作為參數(shù)
v=torch.tensor([0.1,1.0,0.0001],dtype=torch.float)
y.backward(v)
print(x.grad)
print(x.requires_grad)
print((x**2).requires_grad)
# 使用一下語句停止從跟蹤歷史中.require_gra=True的張量自動求導(dǎo)
with torch.no_grad():
    print((x**2).requires_grad)

運(yùn)行結(jié)果

在這里插入圖片描述