pytorch使用指定GPU訓(xùn)練的實(shí)例
本文適合多GPU的機(jī)器，并且每個(gè)用戶需要單獨(dú)使用GPU訓(xùn)練。
雖然pytorch提供了指定gpu的幾種方式，但是使用不當(dāng)?shù)脑挄?huì)遇到out of memory的問(wèn)題，主要是因?yàn)閜ytorch會(huì)在第0塊gpu上初始化，并且會(huì)占用一定空間的顯存。這種情況下，經(jīng)常會(huì)出現(xiàn)指定的gpu明明是空閑的，但是因?yàn)榈?塊gpu被占滿而無(wú)法運(yùn)行，一直報(bào)out of memory錯(cuò)誤。
解決方案如下：
指定環(huán)境變量，屏蔽第0塊gpu
CUDA_VISIBLE_DEVICES = 1 main.py
這句話表示只有第1塊gpu可見，其他gpu不可用，此時(shí)要注意第1塊gpu已經(jīng)變成第0塊，因此代碼里應(yīng)該使用編號(hào)0來(lái)指定gpu。如果依然使用cuda:1會(huì)報(bào)invalid device ordinal。
當(dāng)然也可以在代碼里使用os模塊達(dá)到同樣效果：
import os #多塊使用逗號(hào)隔開 os.environ['CUDA_VISIBLE_DEVICES'] = '1'
使用torch.cuda.device with torch.cuda.device(1): ...
注意這種情況下gpu編號(hào)也會(huì)改變
關(guān)于這個(gè)問(wèn)題的討論，感興趣的也可以去這里查看cuda out of memory error when GPU0 memory is fully utilized
以上這篇pytorch使用指定GPU訓(xùn)練的實(shí)例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
- pytorch 兩個(gè)GPU同時(shí)訓(xùn)練的解決方案
- pytorch使用horovod多gpu訓(xùn)練的實(shí)現(xiàn)
- 解決pytorch多GPU訓(xùn)練保存的模型,在單GPU環(huán)境下加載出錯(cuò)問(wèn)題
- pytorch 指定gpu訓(xùn)練與多gpu并行訓(xùn)練示例
- 用Pytorch訓(xùn)練CNN(數(shù)據(jù)集MNIST,使用GPU的方法)
- pytorch 使用單個(gè)GPU與多個(gè)GPU進(jìn)行訓(xùn)練與測(cè)試的方法
- 關(guān)于pytorch多GPU訓(xùn)練實(shí)例與性能對(duì)比分析
- pytorch 如何在GPU上訓(xùn)練
相關(guān)文章
python+mysql實(shí)現(xiàn)簡(jiǎn)單的web程序
上篇文章我們介紹了簡(jiǎn)單的Python web程序，實(shí)現(xiàn)hello world，本文我們來(lái)結(jié)合一下mysql，實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)的簡(jiǎn)單操作，希望對(duì)大家有所幫助2014-09-09
requests是一個(gè)很實(shí)用的Python HTTP客戶端庫(kù),爬蟲和測(cè)試服務(wù)器響應(yīng)數(shù)據(jù)時(shí)經(jīng)常會(huì)用到,下面這篇文章主要給大家介紹了關(guān)于python中requests庫(kù)安裝與使用的相關(guān)資料,需要的朋友可以參考下2022-07-07
這篇文章主要介紹了用Python解析XML的幾種常見方法,包括快速的使用ElementTree模塊等方法的實(shí)例介紹,需要的朋友可以參考下2015-04-04
Python基類函數(shù)的重載與調(diào)用實(shí)例分析
這篇文章主要介紹了Python基類函數(shù)的重載與調(diào)用方法,實(shí)例分析了Python中基類函數(shù)的重載及調(diào)用技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-01-01
這篇文章主要為大家詳細(xì)介紹了Python?OpenCV實(shí)現(xiàn)圖像輪廓的方法，文中的示例代碼講解詳細(xì)，具有一定的借鑒價(jià)值，感興趣的可以了解一下2022-09-09
下面小編就為大家分享一篇Python 讀取圖片文件為矩陣和保存矩陣為圖片的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-04-04
如何使用django-treebeard實(shí)現(xiàn)樹類型存儲(chǔ)與編輯
這篇文章主要介紹了使用django-treebeard實(shí)現(xiàn)樹類型存儲(chǔ)與編輯的宣相關(guān)操作代碼,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友參考下吧2024-08-08
關(guān)于python爬蟲模塊urllib庫(kù)詳解
這篇文章主要介紹了關(guān)于python爬蟲模塊urllib庫(kù)詳解,學(xué)習(xí)爬蟲，最初的操作便是模擬瀏覽器向服務(wù)端發(fā)出請(qǐng)求，這里我們就學(xué)習(xí)使用urlib庫(kù)的用法,需要的朋友可以參考下2023-07-07
Pandas 是 python 的一個(gè)數(shù)據(jù)分析包，屬于PyData項(xiàng)目的一部分。下面這篇文章主要介紹了Python中科學(xué)計(jì)算之Pandas,需要的朋友可以參考借鑒，下面來(lái)一起學(xué)習(xí)學(xué)習(xí)。2017-01-01
python中Ansible模塊的Playbook的具體使用
這篇文章主要介紹了python中Ansible模塊的Playbook的具體使用，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-05-05