pytorch 使用單個(gè)GPU與多個(gè)GPU進(jìn)行訓(xùn)練與測(cè)試的方法
如下所示：
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")#第一行代碼
model.to(device)#第二行代碼
首先是上面兩行代碼放在讀取數(shù)據(jù)之前。
mytensor = my_tensor.to(device)#第三行代碼
然后是第三行代碼。這句代碼的意思是將所有最開(kāi)始讀取數(shù)據(jù)時(shí)的tersor變量copy一份到device所指定的GPU上去，之后的運(yùn)算都在GPU上進(jìn)行。需要注意的是這句話并不像前面的兩行代碼一樣只需要寫(xiě)一遍，第三行代碼需要寫(xiě)的次數(shù)就等于需要保存到GPU上的tensor變量個(gè)數(shù)；一般情況下這些tensor變量都是最開(kāi)始讀取數(shù)據(jù)時(shí)的tensor變量，后面所衍生的變量自然也都在GPU之上。
以上是使用單個(gè)GPU的情況。當(dāng)你擁有多個(gè)GPU時(shí)，要想使用多個(gè)GPU進(jìn)行訓(xùn)練和測(cè)試，需要在第一二行代碼之間插上下面這樣一個(gè)判斷語(yǔ)句，其余的寫(xiě)法也都是一樣的。
if torch.cuda.device_count() > 1: model = nn.DataParallel(model)
使用多個(gè)GPU的原理就是通過(guò)上面這句代碼將model在每個(gè)GPU上分別保存一份，然后對(duì)model的輸入tensor進(jìn)行自動(dòng)的分割，每個(gè)GPU計(jì)算tensor的一部分，這樣就能實(shí)現(xiàn)計(jì)算量的平均分配。在每個(gè)model計(jì)算完成之后，DataParallel將這些結(jié)果進(jìn)行收集和融合，之后再將結(jié)果返回。
以上這篇pytorch 使用單個(gè)GPU與多個(gè)GPU進(jìn)行訓(xùn)練與測(cè)試的方法就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
- pytorch 兩個(gè)GPU同時(shí)訓(xùn)練的解決方案
- pytorch使用horovod多gpu訓(xùn)練的實(shí)現(xiàn)
- 解決pytorch多GPU訓(xùn)練保存的模型,在單GPU環(huán)境下加載出錯(cuò)問(wèn)題
- pytorch 指定gpu訓(xùn)練與多gpu并行訓(xùn)練示例
- 用Pytorch訓(xùn)練CNN(數(shù)據(jù)集MNIST,使用GPU的方法)
- pytorch使用指定GPU訓(xùn)練的實(shí)例
- 關(guān)于pytorch多GPU訓(xùn)練實(shí)例與性能對(duì)比分析
- pytorch 如何在GPU上訓(xùn)練
相關(guān)文章
這篇文章主要介紹了Python中sorted如何自定義比較邏輯，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下2021-02-02
python中設(shè)置超時(shí)跳過(guò),超時(shí)退出的方式
今天小編就為大家分享一篇python中設(shè)置超時(shí)跳過(guò),超時(shí)退出的方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12
這篇文章主要介紹了Anaconda詳細(xì)安裝步驟圖文教程,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-11-11
python selenium自動(dòng)上傳有贊單號(hào)的操作方法
這篇文章主要介紹了python selenium自動(dòng)上傳有贊單號(hào)的操作代碼，代碼簡(jiǎn)單易懂，非常不錯(cuò)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2018-07-07
Python+SimpleRNN實(shí)現(xiàn)股票預(yù)測(cè)詳解
這篇文章主要為大家詳細(xì)介紹了如何利用Python和SimpleRNN實(shí)現(xiàn)股票預(yù)測(cè)效果，文中的示例代碼講解詳細(xì)，對(duì)我們學(xué)習(xí)有一定幫助，需要的可以參考一下2022-05-05
PyQt彈出式對(duì)話框的常用方法及標(biāo)準(zhǔn)按鈕類型
這篇文章主要為大家詳細(xì)介紹了PyQt彈出式對(duì)話框的常用方法及標(biāo)準(zhǔn)按鈕類型，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-02-02
Python?DPED機(jī)器學(xué)習(xí)之實(shí)現(xiàn)照片美化
本篇文章主要介紹了利用Python中的DPED工具實(shí)現(xiàn)照片一鍵美化，可以實(shí)現(xiàn)照片亮度提高和色彩鮮明度提高，代碼簡(jiǎn)潔易懂，具有一定學(xué)習(xí)價(jià)值，感興趣的小伙伴可以了解一下2021-11-11
python中列表的常見(jiàn)操作梳理總結(jié)(二)
這篇文章主要介紹了python中列表的常見(jiàn)操作總結(jié)，文章圍通過(guò)列表的索引與切片的相關(guān)資料展開(kāi)全文詳細(xì)的內(nèi)容，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2022-07-07
這篇文章主要為大家詳細(xì)介紹了python模擬斗地主發(fā)牌，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2020-04-04
Python?ArcPy實(shí)現(xiàn)批量對(duì)大量遙感影像相減做差
這篇文章主要為大家介紹了如何基于Python中ArcPy模塊實(shí)現(xiàn)對(duì)大量柵格遙感影像文件批量進(jìn)行相減做差，文中的示例代碼講解詳細(xì)，感興趣的可以了解一下2023-06-06