亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

TensorFlow 顯存使用機制詳解

 更新時間:2020年02月03日 10:37:52   作者:冬日and暖陽  
今天小編就為大家分享一篇TensorFlow 顯存使用機制詳解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧

默認情況下,TensorFlow 會映射進程可見的所有 GPU 的幾乎所有 GPU 內(nèi)存(取決于 CUDA_VISIBLE_DEVICES)。通過減少內(nèi)存碎片,可以更有效地使用設(shè)備上相對寶貴的 GPU 內(nèi)存資源。

在某些情況下,最理想的是進程只分配可用內(nèi)存的一個子集,或者僅根據(jù)進程需要增加內(nèi)存使用量。 TensorFlow 在 Session 上提供兩個 Config 選項來進行控制。

(1) : 自主申請所用的內(nèi)存空間

第一個是 allow_growth 選項,它試圖根據(jù)運行時的需要來分配 GPU 內(nèi)存:它剛開始分配很少的內(nèi)存,隨著 Session 開始運行并需要更多 GPU 內(nèi)存,我們會擴展 TensorFlow 進程所需的 GPU 內(nèi)存區(qū)域。請注意,我們不會釋放內(nèi)存,因為這可能導(dǎo)致出現(xiàn)更嚴重的內(nèi)存碎片情況。要開啟此選項,請通過以下方式在 ConfigProto 中設(shè)置選項:

config = tf.ConfigProto()
config.gpu_options.allow_growth = True
session = tf.Session(config=config, ...)

(2) 規(guī)定 可用最大內(nèi)存占單個GPU的總內(nèi)存比例

第二個是 per_process_gpu_memory_fraction 選項,它可以決定每個可見 GPU 應(yīng)分配到的內(nèi)存占總內(nèi)存量的比例。例如,您可以通過以下方式指定 TensorFlow 僅分配每個 GPU 總內(nèi)存的 40%:

config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.4
session = tf.Session(config=config, ...)

如要真正限制 TensorFlow 進程可使用的 GPU 內(nèi)存量,這非常實用。

以上這篇TensorFlow 顯存使用機制詳解就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關(guān)文章

最新評論