PyTorch使用自動(dòng)微分模塊的方法和理解

更新時(shí)間：2024年09月23日 15:15:54 作者：小言從不摸魚(yú)

自動(dòng)微分模塊Autograd為張量增加了自動(dòng)求導(dǎo)功能,是神經(jīng)網(wǎng)絡(luò)訓(xùn)練不可或缺的組成部分,通過(guò)backward方法和grad屬性,實(shí)現(xiàn)梯度的計(jì)算和訪(fǎng)問(wèn),本小節(jié)主要講解了 PyTorch 中非常重要的自動(dòng)微分模塊的使用和理解,感興趣的朋友一起看看吧

自動(dòng)微分（Autograd）模塊對(duì)張量做了進(jìn)一步的封裝，具有自動(dòng)求導(dǎo)功能。自動(dòng)微分模塊是構(gòu)成神經(jīng)網(wǎng)絡(luò)訓(xùn)練的必要模塊，在神經(jīng)網(wǎng)絡(luò)的反向傳播過(guò)程中，Autograd 模塊基于正向計(jì)算的結(jié)果對(duì)當(dāng)前的參數(shù)進(jìn)行微分計(jì)算，從而實(shí)現(xiàn)網(wǎng)絡(luò)權(quán)重參數(shù)的更新。

?? 梯度基本計(jì)算

我們使用 backward 方法、grad 屬性來(lái)實(shí)現(xiàn)梯度的計(jì)算和訪(fǎng)問(wèn).

import torch

1.1 單標(biāo)量梯度的計(jì)算

   
 # y = x**2 + 20
    def test01():
    # 定義需要求導(dǎo)的張量
    # 張量的值類(lèi)型必須是浮點(diǎn)類(lèi)型
    x = torch.tensor(10, requires_grad=True, dtype=torch.float64)
    # 變量經(jīng)過(guò)中間運(yùn)算
    f = x ** 2 + 20
    # 自動(dòng)微分
    f.backward()
    # 打印 x 變量的梯度
    # backward 函數(shù)計(jì)算的梯度值會(huì)存儲(chǔ)在張量的 grad 變量中
    print(x.grad)

1.2 單向量梯度的計(jì)算

# y = x**2 + 20
def test02():
    # 定義需要求導(dǎo)張量
    x = torch.tensor([10, 20, 30, 40], requires_grad=True, dtype=torch.float64)
    # 變量經(jīng)過(guò)中間計(jì)算
    f1 = x ** 2 + 20
    # 注意:
    # 由于求導(dǎo)的結(jié)果必須是標(biāo)量
    # 而 f 的結(jié)果是: tensor([120., 420.])
    # 所以, 不能直接自動(dòng)微分
    # 需要將結(jié)果計(jì)算為標(biāo)量才能進(jìn)行計(jì)算
    f2 = f1.mean()  # f2 = 1/2 * x
    # 自動(dòng)微分
    f2.backward()
    # 打印 x 變量的梯度
    print(x.grad)

1.3 多標(biāo)量梯度計(jì)算

# y = x1 ** 2 + x2 ** 2 + x1*x2
def test03():
    # 定義需要計(jì)算梯度的張量
    x1 = torch.tensor(10, requires_grad=True, dtype=torch.float64)
    x2 = torch.tensor(20, requires_grad=True, dtype=torch.float64)
    # 經(jīng)過(guò)中間的計(jì)算
    y = x1**2 + x2**2 + x1*x2
    # 將輸出結(jié)果變?yōu)闃?biāo)量
    y = y.sum()
    # 自動(dòng)微分
    y.backward()
    # 打印兩個(gè)變量的梯度
    print(x1.grad, x2.grad)

1.4 多向量梯度計(jì)算

def test04():
    # 定義需要計(jì)算梯度的張量
    x1 = torch.tensor([10, 20], requires_grad=True, dtype=torch.float64)
    x2 = torch.tensor([30, 40], requires_grad=True, dtype=torch.float64)
    # 經(jīng)過(guò)中間的計(jì)算
    y = x1 ** 2 + x2 ** 2 + x1 * x2
    print(y)
    # 將輸出結(jié)果變?yōu)闃?biāo)量
    y = y.sum()
    # 自動(dòng)微分
    y.backward()
    # 打印兩個(gè)變量的梯度
    print(x1.grad, x2.grad)
if __name__ == '__main__':
    test04()

1.5 運(yùn)行結(jié)果??

tensor(20., dtype=torch.float64)
tensor([ 5., 10., 15., 20.], dtype=torch.float64)
tensor(40., dtype=torch.float64) tensor(50., dtype=torch.float64)
tensor([1300., 2800.], dtype=torch.float64, grad_fn=<AddBackward0>)
tensor([50., 80.], dtype=torch.float64) tensor([ 70., 100.], dtype=torch.float64)

?? 控制梯度計(jì)算

我們可以通過(guò)一些方法使得在 requires_grad=True 的張量在某些時(shí)候計(jì)算不進(jìn)行梯度計(jì)算。

import torch

2.1 控制不計(jì)算梯度

def test01():
    x = torch.tensor(10, requires_grad=True, dtype=torch.float64)
    print(x.requires_grad)
    # 第一種方式: 對(duì)代碼進(jìn)行裝飾
    with torch.no_grad():
        y = x ** 2
    print(y.requires_grad)
    # 第二種方式: 對(duì)函數(shù)進(jìn)行裝飾
    @torch.no_grad()
    def my_func(x):
        return x ** 2
    print(my_func(x).requires_grad)
    # 第三種方式
    torch.set_grad_enabled(False)
    y = x ** 2
    print(y.requires_grad)

2.2 注意: 累計(jì)梯度

def test02():
    # 定義需要求導(dǎo)張量
    x = torch.tensor([10, 20, 30, 40], requires_grad=True, dtype=torch.float64)
    for _ in range(3):
        f1 = x ** 2 + 20
        f2 = f1.mean()
        # 默認(rèn)張量的 grad 屬性會(huì)累計(jì)歷史梯度值
        # 所以, 需要我們每次手動(dòng)清理上次的梯度
        # 注意: 一開(kāi)始梯度不存在, 需要做判斷
        if x.grad is not None:
            x.grad.data.zero_()
        f2.backward()
        print(x.grad)

2.3 梯度下降優(yōu)化最優(yōu)解

def test03():
    # y = x**2
    x = torch.tensor(10, requires_grad=True, dtype=torch.float64)
    for _ in range(5000):
        # 正向計(jì)算
        f = x ** 2
        # 梯度清零
        if x.grad is not None:
            x.grad.data.zero_()
        # 反向傳播計(jì)算梯度
        f.backward()
        # 更新參數(shù)
        x.data = x.data - 0.001 * x.grad
        print('%.10f' % x.data)
if __name__ == '__main__':
    test01()
    test02()
    test03()

2.4 運(yùn)行結(jié)果??

True
False
False
False
tensor([ 5., 10., 15., 20.], dtype=torch.float64)
tensor([ 5., 10., 15., 20.], dtype=torch.float64)
tensor([ 5., 10., 15., 20.], dtype=torch.float64)

?? 梯度計(jì)算注意

當(dāng)對(duì)設(shè)置 requires_grad=True 的張量使用 numpy 函數(shù)進(jìn)行轉(zhuǎn)換時(shí), 會(huì)出現(xiàn)如下報(bào)錯(cuò):

Can't call numpy() on Tensor that requires grad. Use tensor.detach().numpy() instead.

此時(shí), 需要先使用 detach 函數(shù)將張量進(jìn)行分離, 再使用 numpy 函數(shù).

注意: detach 之后會(huì)產(chǎn)生一個(gè)新的張量, 新的張量作為葉子結(jié)點(diǎn)，并且該張量和原來(lái)的張量共享數(shù)據(jù), 但是分離后的張量不需要計(jì)算梯度。

import torch

3.1 detach 函數(shù)用法

def test01():
    x = torch.tensor([10, 20], requires_grad=True, dtype=torch.float64)
    # Can't call numpy() on Tensor that requires grad. Use tensor.detach().numpy() instead.
    # print(x.numpy())  # 錯(cuò)誤
    print(x.detach().numpy())  # 正確

3.2 detach 前后張量共享內(nèi)存

def test02():
    x1 = torch.tensor([10, 20], requires_grad=True, dtype=torch.float64)
    # x2 作為葉子結(jié)點(diǎn)
    x2 = x1.detach()
    # 兩個(gè)張量的值一樣: 140421811165776 140421811165776
    print(id(x1.data), id(x2.data))
    x2.data = torch.tensor([100, 200])
    print(x1)
    print(x2)
    # x2 不會(huì)自動(dòng)計(jì)算梯度: False
    print(x2.requires_grad)
if __name__ == '__main__':
    test01()
    test02()