.numpy()

Tensor.numpy()將Tensor轉(zhuǎn)化為ndarray，這里的Tensor可以是標(biāo)量或者向量（與item()不同）轉(zhuǎn)換前后的dtype不會改變

a = torch.tensor([[1.,2.]])
a_numpy = a.numpy() #[[1., 2.]]

.item()

將一個Tensor變量轉(zhuǎn)換為python標(biāo)量（int float等）常用于用于深度學(xué)習(xí)訓(xùn)練時，將loss值轉(zhuǎn)換為標(biāo)量并加，以及進行分類任務(wù)，計算準(zhǔn)確值值時需要

        optimizer.zero_grad()
        outputs = model(data)
        loss = F.cross_entropy(outputs, label)
        #計算這一個batch的準(zhǔn)確率
        acc = (outputs.argmax(dim=1) == label).sum().cpu().item() / len(labels) #這里也用到了.item()
        loss.backward()
        optimizer.step()
        train_loss += loss.item()   #這里用到了.item()
        train_acc += acc

.cpu()

將數(shù)據(jù)的處理設(shè)備從其他設(shè)備（如.cuda()拿到cpu上），不會改變變量類型，轉(zhuǎn)換后仍然是Tensor變量。

.detach()和.data（重點）

.detach()就是返回一個新的tensor，并且這個tensor是從當(dāng)前的計算圖中分離出來的。但是返回的tensor和原來的tensor是共享內(nèi)存空間的。

舉個例子來說明一下detach有什么用。 如果A網(wǎng)絡(luò)的輸出被喂給B網(wǎng)絡(luò)作為輸入， 如果我們希望在梯度反傳的時候只更新B中參數(shù)的值，而不更新A中的參數(shù)值，這時候就可以使用detach()

a = A(input)
a = a.deatch() # 或者a.detach_()進行in_place操作
out = B(a)
loss = criterion(out, labels)
loss.backward()

Tensor.data和Tensor.detach()一樣， 都會返回一個新的Tensor， 這個Tensor和原來的Tensor共享內(nèi)存空間，一個改變，另一個也會隨著改變，且都會設(shè)置新的Tensor的requires_grad屬性為False。這兩個方法只取出原來Tensor的tensor數(shù)據(jù)， 丟棄了grad、grad_fn等額外的信息。

tensor.data是不安全的, 因為 x.data 不能被 autograd 追蹤求微分

這是為什么呢？我們對.data進行進一步探究

import torch

a = torch.tensor([4., 5., 6.], requires_grad=True)
print("a", a)
out = a.sigmoid()
print("out", out)
print(out.requires_grad)   #在進行.data前仍為true
result = out.data  #共享變量,同時將requires_grad設(shè)置為false
result.zero_()  # 改變c的值，原來的out也會改變
print("result", result)
print("out", out)
out.sum().backward()  # 對原來的out求導(dǎo)，
print(a.grad)  # 不會報錯，但是結(jié)果卻并不正確
'''運行結(jié)果為：
a tensor([4., 5., 6.], requires_grad=True)
out tensor([0.9820, 0.9933, 0.9975], grad_fn=<SigmoidBackward0>)
True
result tensor([0., 0., 0.])
out tensor([0., 0., 0.], grad_fn=<SigmoidBackward0>)
tensor([0., 0., 0.])
'''

由于更改分離之后的變量值result,導(dǎo)致原來的張量out的值也跟著改變了，但是這種改變對于autograd是沒有察覺的，它依然按照求導(dǎo)規(guī)則來求導(dǎo)，導(dǎo)致得出完全錯誤的導(dǎo)數(shù)值卻渾然不知。

那么我們繼續(xù)看看.detach()

可以看到將.data改為.detach()后程序立馬報錯，阻止了非法的修改，安全性很高

我們需要記住的就是：

• .data 是一個屬性，二.detach()是一個方法；
• .data 是不安全的，.detach()是安全的。

補充：關(guān)于.data和.cpu().data的各種操作

先上圖

仔細(xì)分析：

1.首先a是一個放在GPU上的Variable，a.data是把Variable里的tensor取出來，

  可以看出與a的差別是：缺少了第一行(Variable containing)

2.a.cpu()和a.data.cpu()是分別把a和a.data放在cpu上，其他的沒區(qū)別，另外：a.data.cpu()和a.cpu().data一樣

3.a.data[0] |  a.cpu().data[0]  | a.data.cpu()[0]是一樣的，都是把第一個值取出來，類型均為float

4.a.data.cpu().numpy()把tensor轉(zhuǎn)換成numpy的格式

總結(jié)

到此這篇關(guān)于pytorch中.numpy()、.item()、.cpu()、.detach()以及.data使用的文章就介紹到這了,更多相關(guān)pytorch .numpy()、.item()、.cpu()、.detach()及.data內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論