python中multiprosessing模塊的Pool類中的apply函數(shù)和apply_async函數(shù)的區(qū)別
1、二者的區(qū)別
apply():
- 非異步(子進程不是同時執(zhí)行的),堵塞主進程。
- 它的非異步體現(xiàn)在:一個一個按順序執(zhí)行子進程, 子進程不是同時執(zhí)行的。
- 它的堵塞體現(xiàn)在:等到全部子進程都執(zhí)行完畢后,繼續(xù)執(zhí)行apply()后面主進程的代碼。
apply_async():
- 異步的,不堵塞主進程。
- 它的異步體現(xiàn)在:子進程之間是同時執(zhí)行的。子進程被分配到不同的cpu上被執(zhí)行。
- 它的非堵塞體現(xiàn)在:他不會等待子進程完全執(zhí)行完畢, 主進程會繼續(xù)執(zhí)行, 他會根據(jù)系統(tǒng)調(diào)度來進行進程之間的切換。如果想堵塞主要進程,需要用.join()函數(shù)來堵塞主進程。
2、apply()
import time import multiprocessing def doIt(num): print("Process num is : %s" % num) time.sleep(1) print('process %s end' % num) if __name__ == '__main__': print('mainProcess start') #記錄一下開始執(zhí)行的時間 start_time = time.time() # 創(chuàng)建一個進程池,允許最多可以有3個子進程可以同時執(zhí)行。 pool = multiprocessing.Pool(3) print('Child start') for i in range(3): pool.apply(doIt,[i]) print('mainProcess done time:%s s' % (time.time() - start_time))
結(jié)果如下所示:
從結(jié)果中我們可以看到,主進程開始執(zhí)行之后, 創(chuàng)建的三個子進程也隨即開始執(zhí)行, 后面的主進程被阻塞。而且三個子進程是一個接一個按順序地執(zhí)行, 等到子進程全部執(zhí)行完畢之后, 后面的主進程才會繼續(xù)執(zhí)行, 打印出最后一句。所以,apply()函數(shù)果然是可以堵塞主進程,而且是非異步的。
3、apply_async()
顧名思義,async就是異步的意思。接下來是使用apply_async(), 只需要把上面的代碼使用 apply()的地方改成apply_async() 即可, 代碼不再貼上
我們來看看運行結(jié)果, 可以看出來, 截圖的第一句是上一個程序(也就是apply()函數(shù))的執(zhí)行消耗時間,
最后一句是使用apply_async()所消耗的時間, 在這里, 主進程沒有被阻塞, 驗證了apply_async()是非阻塞主進程的, 子進程沒有執(zhí)行, 驗證了他是根據(jù)系統(tǒng)調(diào)度完成的,
為什么會這樣呢?
原因是, 進程的切換時操作系統(tǒng)控制的, 我們首先運行的是主進程, 而CPU運行得又很快, 快到還沒等系統(tǒng)調(diào)度到子線程, 主進程就已經(jīng)運行完畢了, 并且退出程序. 所以子進程就沒有運行了.
那么我們在使用apply_async()函數(shù)是不是就不能執(zhí)行子進程呢?肯定可以?。。。⌒±系?,想啥呢??還記得join()的作用嗎?他可以阻塞主進程, 等待所有子進程結(jié)束之后再運行,join()就是告訴主進程老子要運行子進程了,你先等等。
import time import multiprocessing def doIt(num): print("Process num is : %s" % num) time.sleep(1) print('process %s end' % num) if __name__ == '__main__': print('mainProcess start') #記錄一下開始執(zhí)行的時間 start_time = time.time() # 創(chuàng)建一個進程池,最大允許3個子進程同時執(zhí)行。 pool = multiprocessing.Pool(3) print('Child start') for i in range(3): pool.apply_async(doIt,[i]) pool.close() pool.join() print('mainProcess done time:%s s' % (time.time() - start_time))
結(jié)果如下所示:
我們看看加入這兩句的運行結(jié)果, 我們可以看到即使是使用了非阻塞主進程的apply_async() 也能讓子進程運行完畢之后再執(zhí)行主進程了。
CPU在執(zhí)行第一個子進程的時候, 還沒等第一個子進程結(jié)束, 系統(tǒng)調(diào)度到了按順序調(diào)度到了第二個子進程, 以此類推, 一直調(diào)度運行子進程, 一個接一個地結(jié)束子進程的運行, 最后運行主進程, 而且我們可以看到使用apply_async()的執(zhí)行效力會更高,看一下他們各自執(zhí)行結(jié)果最后一句的執(zhí)行消耗時間就知道了, 這也是官方推薦我們使用apply_async()的主要原因吧
到此這篇關(guān)于python中multiprosessing模塊的Pool()類中的apply()函數(shù)和apply_async()函數(shù)的區(qū)別的文章就介紹到這了,更多相關(guān)python multiprosessing內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python with語句上下文管理器兩種實現(xiàn)方法分析
這篇文章主要介紹了Python with語句上下文管理器兩種實現(xiàn)方法,結(jié)合實例形式較為詳細的分析了Python上下文管理器的相關(guān)概念、功能、使用方法及相關(guān)操作注意事項,需要的朋友可以參考下2018-02-02關(guān)于Python-faker的函數(shù)效果一覽
今天小編就為大家分享一篇關(guān)于Python-faker的函數(shù)效果一覽,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11如何一分鐘內(nèi)找出pandas DataFrame某列中的nan值
這篇文章主要介紹了如何一分鐘內(nèi)找出pandas DataFrame某列中的nan值問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-09-09python使用cStringIO實現(xiàn)臨時內(nèi)存文件訪問的方法
這篇文章主要介紹了python使用cStringIO實現(xiàn)臨時內(nèi)存文件訪問的方法,涉及Python使用cStringIO模塊操作內(nèi)存的技巧,需要的朋友可以參考下2015-03-03python實戰(zhàn)串口助手_解決8串口多個發(fā)送的問題
今天小編就為大家分享一篇python實戰(zhàn)串口助手_解決8串口多個發(fā)送的問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06Python?數(shù)據(jù)類型中的字符串和數(shù)字
這篇文章主要介紹了Python?數(shù)據(jù)類型中的字符串和數(shù)字,Python3中有六個標準的數(shù)據(jù)類型,Number、String、List、Tuple、Set、Dictionary,加先來我們就來看看這幾種數(shù)據(jù)類型的具體相關(guān)介紹,需要的小伙伴可以參考一下2022-02-02