解決pytorch下出現(xiàn)multi-target not supported at的一種可能原因

更新時(shí)間：2021年02月06日 09:50:36 作者：York1996

這篇文章主要介紹了解決pytorch下出現(xiàn)multi-target not supported at的一種可能原因，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

在使用交叉熵?fù)p失函數(shù)的時(shí)候，target的形狀應(yīng)該是和label的形狀一致或者是只有batchsize這一個(gè)維度的。

如果target是這樣的【batchszie，1】就會(huì)出現(xiàn)上述的錯(cuò)誤。

改一下試試，用squeeze（）函數(shù)降低緯度，

如果不知道squeeze怎么用的，

可以參考這篇文章。pytorch下的unsqueeze和squeeze用法

這只是一種可能的原因。

補(bǔ)充：pytorch使用中遇到的問(wèn)題

1. load模型參數(shù)文件時(shí)，提示torch.cuda.is_available() is False。

按照pytorch官方網(wǎng)頁(yè)又安裝了一次pytorch，而不是直接使用清華源，執(zhí)行pip install torch，暫時(shí)不知道為什么。

2. 使用CrossEntropyLoss時(shí)，要求第一個(gè)參數(shù)為網(wǎng)絡(luò)輸出值，F(xiàn)loatTensor類(lèi)型，第二個(gè)參數(shù)為目標(biāo)值，LongTensor類(lèi)型。否則

需要在數(shù)據(jù)讀取的迭代其中把target的類(lèi)型轉(zhuǎn)換為int64位的：target = target.astype(np.int64)，這樣，輸出的target類(lèi)型為torch.cuda.LongTensor。（或者在使用前使用Tensor.type(torch.LongTensor)進(jìn)行轉(zhuǎn)換）。

3.

RuntimeError: multi-target not supported at /pytorch/torch/lib/THCUNN/generic/ClassNLLCriterion.cu
loss += F.cross_entropy( scores, captions )

出錯(cuò)原因：

scores, captions的維度與F.cross_entropy()函數(shù)要求的維度不匹配，

例如出錯(cuò)的維度為scores=[batch, vocab_size], captions=[batch, 1]

解決：

loss += F.cross_entropy( scores, captions.squeeze() )

注，這個(gè)scores必須是N*C維，C指類(lèi)別數(shù)。

4. pytorch訓(xùn)練過(guò)程中使用大量的CPU資源

當(dāng)我使用pycharm運(yùn)行 (https://github.com/Joyce94/cnn-text-classification-pytorch ) pytorch程序的時(shí)候，在Linux服務(wù)器上會(huì)開(kāi)啟多個(gè)進(jìn)程，占用服務(wù)器的大量的CPU，在windows10上運(yùn)行此程序的時(shí)候，本機(jī)的CPU和內(nèi)存會(huì)被吃光，是因?yàn)樵趖rain.py中有大量的數(shù)據(jù)訓(xùn)練處理，會(huì)開(kāi)啟多個(gè)進(jìn)程，占用大量的CPU和進(jìn)程。

本機(jī)window10

linux服務(wù)器開(kāi)啟了多個(gè)進(jìn)程

Linux服務(wù)器占用大量CPU

在pytorch中提供了（http://pytorch.org/docs/master/multiprocessing.html）muliprocessing多進(jìn)程管理，其中有Pool進(jìn)程池、Process()等對(duì)進(jìn)程進(jìn)行管理，可能是我使用的方式不對(duì)，反正是沒(méi)有什么效果。

然而最簡(jiǎn)單的也是最好的解決辦法：

torch.set_num_threads(int thread) ，可以很好的解決windows問(wèn)題，參考（http://pytorch.org/docs/master/torch.html#parallelism）然而，在linux服務(wù)器上還是有一些問(wèn)題的，export OMP_NUM_THREADS = 1 可以解決Linux問(wèn)題。

經(jīng)驗(yàn)證：export OMP_NUM_THREADS=1確實(shí)在pycaffe/pytorch中可以有效降低CPU使用率且提高程序運(yùn)行速度，考慮可能是程序并不需要這么大的計(jì)算量，但是開(kāi)了很多線(xiàn)程并行進(jìn)行相同的計(jì)算，最后還需要同步結(jié)果，浪費(fèi)了大量的計(jì)算量。

5. 在pytorch框架下編譯模塊的時(shí)候遇到 in <module>

raise ImportError("torch.utils.ffi is deprecated. Please use cpp extensions instead.")
ImportError: torch.utils.ffi is deprecated. Please use cpp extensions instead.

解決：pytorch版本與其他庫(kù)的版本不匹配。我當(dāng)時(shí)裝的是1.0.0，降低版本到0.4.0后問(wèn)題解決。

6.pytorch設(shè)置GPU，os.environ['CUDA_VISIBLE_DEVICES']='X'要放在主程序的最前端，否則設(shè)置GPU可能無(wú)效。

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教。

您可能感興趣的文章: