Python多進程并發(fā)(multiprocessing)用法實例詳解
更新時間：2015年06月02日 16:35:34 作者：songguo
這篇文章主要介紹了Python多進程并發(fā)(multiprocessing)用法,實例分析了multiprocessing模塊進程操作的相關(guān)技巧,需要的朋友可以參考下
本文實例講述了Python多進程并發(fā)(multiprocessing)用法。分享給大家供大家參考。具體分析如下：
由于Python設(shè)計的限制(我說的是咱們常用的CPython)。最多只能用滿1個CPU核心。
Python提供了非常好用的多進程包multiprocessing，你只需要定義一個函數(shù)，Python會替你完成其他所有事情。借助這個包，可以輕松完成從單進程到并發(fā)執(zhí)行的轉(zhuǎn)換。
1、新建單一進程
如果我們新建少量進程，可以如下：
import multiprocessing
import time
def func(msg):
for i in xrange(3):
print msg
time.sleep(1)
if __name__ == "__main__":
p = multiprocessing.Process(target=func, args=("hello", ))
p.start()
p.join()
print "Sub-process done."
2、使用進程池
是的，你沒有看錯，不是線程池。它可以讓你跑滿多核CPU，而且使用方法非常簡單。
注意要用apply_async，如果落下async，就變成阻塞版本了。
processes=4是最多并發(fā)進程數(shù)量。
import multiprocessing
import time
def func(msg):
for i in xrange(3):
print msg
time.sleep(1)
if __name__ == "__main__":
pool = multiprocessing.Pool(processes=4)
for i in xrange(10):
msg = "hello %d" %(i)
pool.apply_async(func, (msg, ))
pool.close()
pool.join()
print "Sub-process(es) done."
3、使用Pool，并需要關(guān)注結(jié)果
更多的時候，我們不僅需要多進程執(zhí)行，還需要關(guān)注每個進程的執(zhí)行結(jié)果，如下：
import multiprocessing
import time
def func(msg):
for i in xrange(3):
print msg
time.sleep(1)
return "done " + msg
if __name__ == "__main__":
pool = multiprocessing.Pool(processes=4)
result = []
for i in xrange(10):
msg = "hello %d" %(i)
result.append(pool.apply_async(func, (msg, )))
pool.close()
pool.join()
for res in result:
print res.get()
print "Sub-process(es) done."
希望本文所述對大家的Python程序設(shè)計有所幫助。
相關(guān)文章
Python基于pywinauto實現(xiàn)的自動化采集任務(wù)
這篇文章主要介紹了Python基于pywinauto實現(xiàn)的自動化采集任務(wù),模擬了輸入單詞, 復(fù)制例句, 獲取例句, 清空剪切板, 然后重復(fù)這個操作,需要的朋友可以參考下2023-04-04
這篇文章主要為大家詳細介紹了Python繪制計算機CPU占有率變化的折線圖，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-03-03
在Python中，每個類都有實例屬性。默認情況下Python用一個字典來保存一個對象的實例屬性。這非常有用，因為它允許我們在運行時去設(shè)置任意的新屬性。下面這篇文章主要給大家介紹了關(guān)于Python中__slots__屬性與基本使用方法的相關(guān)資料，需要的朋友可以參考下2018-09-09
淺談Python中range與Numpy中arange的比較
這篇文章主要介紹了淺談Python中range與Numpy中arange的比較，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
今天小編就為大家分享一篇python自定義線程池控制線程數(shù)量的示例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-02-02
在本篇文章里小編給大家整理了一篇關(guān)于去除python中的字符串空格的簡單方法，有興趣的朋友們可以學習下。2020-12-12
python爬蟲爬取監(jiān)控教務(wù)系統(tǒng)的思路詳解
這篇文章主要介紹了python爬蟲監(jiān)控教務(wù)系統(tǒng)，主要實現(xiàn)思路是對已有的成績進行處理，變?yōu)閘ist集合，本文通過實例代碼給大家介紹的非常詳細,需要的朋友可以參考下2020-01-01
pandas.read_csv參數(shù)詳解(小結(jié))
這篇文章主要介紹了pandas.read_csv參數(shù)詳解(小結(jié))，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-06-06
pytorch中dataloader 的sampler 參數(shù)詳解
這篇文章主要介紹了pytorch中dataloader 的sampler 參數(shù)詳解，文章圍繞主題展開詳細的內(nèi)容介紹，具有一定的參考價值，感興趣的小伙伴可以參考一下2022-09-09
Python 3.8中實現(xiàn)functools.cached_property功能
這篇文章主要介紹了Python 3.8中實現(xiàn)functools.cached_property功能,本文通過實例代碼給大家介紹的非常詳細，具有一定的參考借鑒價值，需要的朋友可以參考下2019-05-05