TensorFlow訓(xùn)練時，遇到內(nèi)存不斷增長，最終導(dǎo)致內(nèi)存不足，進(jìn)程被殺死。

在這里我不準(zhǔn)備對造成這一現(xiàn)象的所有原因進(jìn)行探討，只是記錄一下我在項目中遇到的這一問題，下面將對我遇到的內(nèi)存不斷增長的原因進(jìn)行分析。

在TensorFlow中構(gòu)造圖，是將一些op作為節(jié)點加入圖中，在run之前，是需要構(gòu)造好一個圖的，所以在run的時候，如果run圖中不存在的節(jié)點，TensorFlow就會將節(jié)點加入圖中，隨著不斷的迭代，造成內(nèi)存不斷的增長，從而導(dǎo)致內(nèi)存不足。

下面舉一個很容易發(fā)現(xiàn)這個問題的例子：

import tensorflow as tf
x = tf.Variable(tf.constant(1))
y = tf.constant(2)
sess = tf.Session()
sess.run(tf.global_variables_initializer())
while True:
 print(sess.run(x+y))

在上面的例子中，x,y是圖中的兩個節(jié)點，在while循環(huán)中run(x)或者run(y)都是不存在問題的，但是上例中我們使用的時run(x+y)，而在TensorFlow的圖中是不存在x+y這個節(jié)點的，所以在run的時候，圖中會不斷的創(chuàng)建該節(jié)點，最終導(dǎo)致了內(nèi)存不足。這個例子很容易理解，這樣的問題也很容易發(fā)現(xiàn)。

下面，將舉一個不是那么容易發(fā)現(xiàn)的問題：

import tensorflow as tf
test = tf.get_variable('test', shape=[4, 1], initializer=tf.random_normal_initializer(stddev=0.1))
init_op = tf.global_variables_initializer()
with tf.Session() as sess:
 sess.run(init_op)
 print(sess.run(test[0]))

這個例子是創(chuàng)建一個shape為[4,1]的變量對象，test為圖中的一個節(jié)點，但是在我們實際使用時，我們可能并不需要test里的所有數(shù)據(jù)，加入只需要一個數(shù)據(jù)test[0]，當(dāng)我們使用run(test[0])時，test[0]并不是圖中的節(jié)點，該節(jié)點就會在圖中創(chuàng)建。上面的例子并沒有使用循環(huán)，所以增加了節(jié)點，但是也不會造成內(nèi)存的不足，當(dāng)使用了循環(huán)時，就需要注意了。

解決辦法：run圖中存在的節(jié)點，對返回的結(jié)果進(jìn)行處理，得到想要的結(jié)果，不要在run里面對節(jié)點處理（處理后的節(jié)點可能不是圖中的節(jié)點）。

以上這篇解決TensorFlow訓(xùn)練內(nèi)存不斷增長,進(jìn)程被殺死問題就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

最新評論