Pytorch 多塊GPU的使用詳解
注：本文針對(duì)單個(gè)服務(wù)器上多塊GPU的使用，不是多服務(wù)器多GPU的使用。
在一些實(shí)驗(yàn)中，由于Batch_size的限制或者希望提高訓(xùn)練速度等原因，我們需要使用多塊GPU。本文針對(duì)Pytorch中多塊GPU的使用進(jìn)行說明。
1. 設(shè)置需要使用的GPU編號(hào)
import os os.environ["CUDA_VISIBLE_DEVICES"] = "0,4" ids = [0,1]
比如我們需要使用第0和第4塊GPU，只用上述三行代碼即可。
其中第二行指程序只能看到第1塊和第4塊GPU；
第三行的0即為第二行中編號(hào)為0的GPU；1即為編號(hào)為4的GPU。
2.更改網(wǎng)絡(luò)，可以理解為將網(wǎng)絡(luò)放入GPU
class CNN(nn.Module):
def __init__(self):
super(CNN,self).__init__()
self.conv1 = nn.Sequential(
......
)
......
self.out = nn.Linear(Liner_input,2)
......
def forward(self,x):
x = self.conv1(x)
......
output = self.out(x)
return output,x
cnn = CNN()
# 更改，.cuda()表示將本存儲(chǔ)到CPU的網(wǎng)絡(luò)及其參數(shù)存儲(chǔ)到GPU！
cnn.cuda()
3. 更改輸出數(shù)據(jù)(如向量/矩陣/張量):
for epoch in range(EPOCH):
epoch_loss = 0.
for i, data in enumerate(train_loader2):
image = data['image'] # data是字典，我們需要改的是其中的image
#############更改！??！##################
image = Variable(image).float().cuda()
############################################
label = inputs['label']
#############更改！??！##################
label = Variable(label).type(torch.LongTensor).cuda()
############################################
label = label.resize(BATCH_SIZE)
output = cnn(image)[0]
loss = loss_func(output, label) # cross entropy loss
optimizer.zero_grad() # clear gradients for this training step
loss.backward() # backpropagation, compute gradients
optimizer.step()
... ...
4. 更改其他CPU與GPU沖突的地方
有些函數(shù)必要在GPU上完成，例如將Tensor轉(zhuǎn)換為Numpy，就要使用data.cpu().numpy()，其中data是GPU上的Tensor。
若直接使用data.numpy()則會(huì)報(bào)錯(cuò)。除此之外，plot等也需要在CPU中完成。如果不是很清楚哪里要改的話可以先不改，等到程序報(bào)錯(cuò)了，再哪里錯(cuò)了改哪里，效率會(huì)更高。例如：
... ...
#################################################
pred_y = torch.max(test_train_output, 1)[1].data.cpu().numpy()
accuracy = float((pred_y == label.cpu().numpy()).astype(int).sum()) / float(len(label.cpu().numpy()))
假如不加.cpu()便會(huì)報(bào)錯(cuò)，此時(shí)再改即可。
5. 更改前向傳播函數(shù)，從而使用多塊GPU
以VGG為例：
class VGG(nn.Module):
def __init__(self, features, num_classes=2, init_weights=True):
super(VGG, self).__init__()
... ...
def forward(self, x):
#x = self.features(x)
#################Multi GPUS#############################
x = nn.parallel.data_parallel(self.features,x,ids)
x = x.view(x.size(0), -1)
# x = self.classifier(x)
x = nn.parallel.data_parallel(self.classifier,x,ids)
return x
... ...
然后就可以看運(yùn)行結(jié)果啦，nvidia-smi查看GPU使用情況：
可以看到0和4都被使用啦
以上這篇Pytorch 多塊GPU的使用詳解就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
使用pandas中的DataFrame.rolling方法查看時(shí)間序列中的異常值
Pandas是Python中最受歡迎的數(shù)據(jù)分析和處理庫(kù)之一,提供了許多強(qiáng)大且靈活的數(shù)據(jù)操作工具,在Pandas中,DataFrame.rolling方法是一個(gè)強(qiáng)大的工具,在本文中,我們將深入探討DataFrame.rolling方法的各種參數(shù)和示例,以幫助您更好地理解和應(yīng)用這個(gè)功能2023-12-12
Spyder中如何設(shè)置默認(rèn)python解釋器
Spyder作為一款流行的Python IDE,支持用戶自定義Python解釋器,包括虛擬環(huán)境的設(shè)置,通過打開Spyder,選擇“Tools”->“Preferences”,在彈出窗口中選擇“Use the following Python interpreter”后,瀏覽并選擇相應(yīng)的解釋器或虛擬環(huán)境路徑2024-09-09
python常用運(yùn)維腳本實(shí)例小結(jié)
這篇文章主要介紹了python常用運(yùn)維腳本實(shí)例小結(jié)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02
Python是一門富有魅力的編程語(yǔ)言,擁有豐富的功能和庫(kù),以及強(qiáng)大的社區(qū)支持,然而,有一些核心功能經(jīng)常被忽視,而它們實(shí)際上可以極大地提高代碼的質(zhì)量、可讀性和性能,本文將給大家詳細(xì)的介紹一下這些容易被忽視的功能,需要的朋友可以參考下2023-11-11
matplotlib 對(duì)坐標(biāo)的控制,加圖例注釋的操作
這篇文章主要介紹了matplotlib 對(duì)坐標(biāo)的控制,加圖例注釋的操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-04-04
Python中pip安裝非PyPI官網(wǎng)第三方庫(kù)的方法
這篇文章主要介紹了Python中pip安裝非PyPI官網(wǎng)第三方庫(kù)的方法,pip最新的版本(1.5以上的版本), 出于安全的考 慮,pip不允許安裝非PyPI的URL,本文就給出兩種解決方法,需要的朋友可以參考下2015-06-06
Django windows使用Apache實(shí)現(xiàn)部署流程解析
這篇文章主要介紹了Django windows使用Apache實(shí)現(xiàn)部署流程解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-10-10
Python實(shí)現(xiàn)將視頻按照時(shí)間維度剪切
這篇文章主要為大家詳細(xì)介紹了如何利用Python實(shí)現(xiàn)將視頻按照時(shí)間維度進(jìn)行剪切，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以跟隨小編一起了解一下2022-12-12
