對Python3之進程池與回調(diào)函數(shù)的實例詳解
進程池
代碼演示
方式一
from multiprocessing import Pool def deal_task(n): n -= 1 return n if __name__ == '__main__': n = 10 p = Pool(4) for i in range(4): res = p.apply(deal_task, args=(n,)) #調(diào)用apply是一個串行的效果,任務(wù)會被進程一個一個的處理,直接得到結(jié)果 #前提是執(zhí)行的任務(wù)必須要有返回值 print(res)
方式二
from multiprocessing import Pool def deal_task(n): n -= 1 return n if __name__ == '__main__': n = 10 p = Pool(4) obj_l = [] for i in range(4): #調(diào)用apply_async會返回一個對象,主進程會不斷扔任務(wù)給線程池,讓子線程處理 obj = p.apply_async(deal_task, args=(n,)) obj_l.append(obj) #首先函數(shù)要有返回值 #調(diào)用close目的是防止join期間會有別的任務(wù)被添加到任務(wù)列表中 #不調(diào)用close會報錯 p.close() p.join() #join是要讓子進程全部處理完之后得到結(jié)果統(tǒng)一處理,還有一個非常重要的原因是進程池依附于主進程,主進程結(jié)束,進程池消失。進程池的任務(wù)沒有被處理程序就結(jié)束了。 for obj in obj_l: print(obj.get())
方式三
from multiprocessing import Pool import requests def get_page(url): ret = requests.get(url).text return {'url': url, 'ret': ret} def parse_page(ret): with open('ab.txt', 'a') as f: f.write('%s - %s\n' % (ret['url'], len(ret['ret']))) if __name__ == '__main__': urls = [ 'https://www.baidu.com', 'http://www.openstack.org', 'https://www.python.org', 'https://help.github.com/', 'http://www.sina.com.cn/' ] p = Pool() for url in urls: #使用回調(diào)函數(shù),當(dāng)get_page下載完后,主線程調(diào)用parse_page自動處理get_page下載的結(jié)果,節(jié)省了parse_page的時間,該場景用于一個函數(shù)為耗時操作并且產(chǎn)生數(shù)據(jù),另一個函數(shù)是非耗時操作,這樣就節(jié)省了非耗時操作函數(shù)的時間 p.apply_async(get_page, args=(url,), callback=parse_page) p.close() p.join() print('主')
join是要讓子進程全部處理完之后得到結(jié)果統(tǒng)一處理,還有一個非常重要的原因是進程池依附于主進程,主進程結(jié)束,進程池消失。進程池的任務(wù)沒有被處理程序就結(jié)束了。
以上這篇對Python3之進程池與回調(diào)函數(shù)的實例詳解就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
Python進程multiprocessing.Process()的使用解讀
這篇文章主要介紹了Python進程multiprocessing.Process()的使用,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-02-02使用Python爬取最好大學(xué)網(wǎng)大學(xué)排名
這篇文章主要介紹了如何使用Python爬取最好大學(xué)網(wǎng)大學(xué)排名,具有一定的參考價值,感興趣的小伙伴們可以參考一下2018-02-02使用pyplot.matshow()函數(shù)添加繪圖標(biāo)題
這篇文章主要介紹了使用pyplot.matshow()函數(shù)添加繪圖標(biāo)題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06Python2和Python3讀取文本文件的區(qū)別及說明
這篇文章主要介紹了Python2和Python3讀取文本文件的區(qū)別及說明,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-02-02Python使用logging結(jié)合decorator模式實現(xiàn)優(yōu)化日志輸出的方法
這篇文章主要介紹了Python使用logging結(jié)合decorator模式實現(xiàn)優(yōu)化日志輸出的方法,實例分析了Python使用logging模塊操作日志的相關(guān)技巧,需要的朋友可以參考下2016-04-04Python Web框架Flask中使用百度云存儲BCS實例
這篇文章主要介紹了Python Web框架Flask中使用百度云存儲BCS實例,本文調(diào)用了百度云存儲Python SDK中的相關(guān)類,需要的朋友可以參考下2015-02-02