快捷導(dǎo)航

python多進(jìn)程中的內(nèi)存復(fù)制(實(shí)例講解)

更新時(shí)間：2018年01月05日 14:40:50 作者：pushiqiang

下面小編就為大家分享一篇python多進(jìn)程中的內(nèi)存復(fù)制(實(shí)例講解)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來(lái)看看吧

比較好奇python對(duì)于多進(jìn)程中copy on write機(jī)制的實(shí)際使用情況。目前從實(shí)驗(yàn)結(jié)果來(lái)看，python 使用multiprocessing來(lái)創(chuàng)建多進(jìn)程時(shí)，無(wú)論數(shù)據(jù)是否不會(huì)被更改，子進(jìn)程都會(huì)復(fù)制父進(jìn)程的狀態(tài)(內(nèi)存空間數(shù)據(jù)等)。所以如果主進(jìn)程耗的資源較多時(shí)，不小心就會(huì)造成不必要的大量的內(nèi)存復(fù)制，從而可能導(dǎo)致內(nèi)存爆滿的情況。

示例

舉個(gè)例子，假設(shè)主進(jìn)程讀取了一個(gè)大文件對(duì)象的所有行，然后通過multiprocessing創(chuàng)建工作進(jìn)程，并循環(huán)地將每一行數(shù)據(jù)交給工作進(jìn)程來(lái)處理：

def parse_lines(args):
 #working
 ...
def main_logic():
 f = open(filename , 'r')
 lines = f.readlines()
 f.close()
 pool = multiprocessing.Pool(processes==4)
 rel = pool.map(parse_lines , itertools.izip(lines , itertools.repeat(second_args)) , int(len(lines)/4))
 pool.close()
 pool.join()

以下是top及ps結(jié)果：

(四個(gè)子進(jìn)程)

(父進(jìn)程及四個(gè)子進(jìn)程)

由上兩張圖可以看出父進(jìn)程及子進(jìn)程都各自占用了1.4G左右的內(nèi)存空間。而大部分內(nèi)存空間存儲(chǔ)的是讀數(shù)據(jù)lines，所以這樣的內(nèi)存開銷太浪費(fèi)。

優(yōu)化計(jì)劃

1: 在主進(jìn)程初期未導(dǎo)入大量的py庫(kù)之前創(chuàng)建進(jìn)程，或者動(dòng)態(tài)加載py庫(kù)。

2:通過內(nèi)存共享來(lái)減少內(nèi)存的開銷。

3: 主進(jìn)程不再讀取文件對(duì)象，交給每個(gè)工作進(jìn)程去讀取文件中的相應(yīng)部分。

改進(jìn)代碼：

def line_count(file_name):
 count = -1 #讓空文件的行號(hào)顯示0
 for count,line in enumerate(open(file_name)): pass
 #enumerate格式化成了元組,count就是行號(hào),因?yàn)閺?開始要+1
 return count+1
def parse_lines(args):
 f = open(args[0] , 'r')
 lines = f.readlines()[args[1]:args[2]] #read some lines
 f.close() 
 #working
def main_logic(filename,process_num):
 line_count = line_count(filename)
 avg_len = int(line_count/process_num)
 left_cnt = line_count%process_num;
 pool = multiprocessing.Pool(processes=process_num)
 for i in xrange(0,process_num):
  ext_cnt = (i>=process_num-1 and [left_cnt] or [0])[0]
  st_line = i*avg_len
  pool.apply_async(parse_lines, ((filename, st_line, st_line+avg_len+ext_cnt),)) #指定進(jìn)程讀某幾行數(shù)據(jù)
 pool.close()
 pool.join()

再次用top或者ps來(lái)查看進(jìn)程的內(nèi)存使用情況：