python進(jìn)程池的簡(jiǎn)單實(shí)現(xiàn)
Python進(jìn)程池是Python標(biāo)準(zhǔn)庫(kù)中multiprocessing模塊提供的一種用于管理進(jìn)程的方式。它可以使Python程序以并行的方式執(zhí)行任務(wù),提高程序的運(yùn)行效率。本篇博客將介紹如何使用Python進(jìn)程池。
創(chuàng)建進(jìn)程池
在使用Python進(jìn)程池之前,我們需要先創(chuàng)建一個(gè)進(jìn)程池對(duì)象。使用multiprocessing.Pool()方法可以創(chuàng)建一個(gè)進(jìn)程池對(duì)象。例如:
from multiprocessing import Pool pool = Pool(processes=4) # 創(chuàng)建一個(gè)包含4個(gè)進(jìn)程的進(jìn)程池對(duì)象
這里創(chuàng)建了一個(gè)包含4個(gè)進(jìn)程的進(jìn)程池對(duì)象。這意味著我們可以同時(shí)運(yùn)行4個(gè)任務(wù)。
向進(jìn)程池提交任務(wù)
創(chuàng)建了進(jìn)程池對(duì)象之后,我們需要向進(jìn)程池提交任務(wù)。使用進(jìn)程池的apply()方法可以向進(jìn)程池提交一個(gè)任務(wù),并且會(huì)阻塞當(dāng)前進(jìn)程直到任務(wù)執(zhí)行完成。例如:
def worker(num): ? ? print(f"執(zhí)行任務(wù){(diào)num}") ? ? return num * 2 result = pool.apply(worker, args=(1,)) print(f"任務(wù)執(zhí)行結(jié)果為:{result}")
這里定義了一個(gè)函數(shù)worker,它接受一個(gè)參數(shù)num,執(zhí)行完任務(wù)后會(huì)返回num的兩倍。然后我們使用pool.apply()方法將這個(gè)任務(wù)提交給進(jìn)程池,傳遞參數(shù)1給worker函數(shù)。最后打印出任務(wù)執(zhí)行的結(jié)果。
注意:apply()方法會(huì)阻塞當(dāng)前進(jìn)程直到任務(wù)執(zhí)行完成。如果需要并行執(zhí)行多個(gè)任務(wù),可以使用進(jìn)程池的map()方法。
并行執(zhí)行多個(gè)任務(wù)
使用進(jìn)程池的map()方法可以并行執(zhí)行多個(gè)任務(wù)。例如:
def worker(num): ? ? print(f"執(zhí)行任務(wù){(diào)num}") ? ? return num * 2 results = pool.map(worker, [1, 2, 3, 4]) print(f"任務(wù)執(zhí)行結(jié)果為:{results}")
這里使用map()方法將worker函數(shù)提交給進(jìn)程池,同時(shí)傳遞一個(gè)包含四個(gè)參數(shù)的列表。map()方法會(huì)并行執(zhí)行四個(gè)任務(wù),最后將所有任務(wù)的執(zhí)行結(jié)果保存在一個(gè)列表中,并打印出來(lái)。
關(guān)閉進(jìn)程池
當(dāng)任務(wù)執(zhí)行完畢之后,我們需要關(guān)閉進(jìn)程池。使用進(jìn)程池的close()方法可以關(guān)閉進(jìn)程池,不再接受新的任務(wù)提交。例如:
pool.close()
等待任務(wù)執(zhí)行完畢
關(guān)閉進(jìn)程池之后,我們需要等待進(jìn)程池中的所有任務(wù)執(zhí)行完畢。使用進(jìn)程池的join()方法可以等待所有任務(wù)執(zhí)行完畢。例如:
pool.join()
這里調(diào)用join()方法會(huì)阻塞當(dāng)前進(jìn)程直到進(jìn)程池中的所有任務(wù)執(zhí)行完畢。
示例代碼:
下面是一個(gè)簡(jiǎn)單的Python進(jìn)程池示例代碼,它使用進(jìn)程池并行計(jì)算斐波那契數(shù)列的值。
import multiprocessing def fibonacci(n): ? ? if n <= 1: ? ? ? ? return n ? ? else: ? ? ? ? return fibonacci(n-1) + fibonacci(n-2) if __name__ == '__main__': ? ? # 創(chuàng)建一個(gè)包含4個(gè)進(jìn)程的進(jìn)程池對(duì)象 ? ? pool = multiprocessing.Pool(processes=4) ? ? # 計(jì)算斐波那契數(shù)列的前20項(xiàng) ? ? results = pool.map(fibonacci, range(20)) ? ? print("斐波那契數(shù)列的前20項(xiàng)為:", results) ? ? # 關(guān)閉進(jìn)程池 ? ? pool.close() ? ? # 等待進(jìn)程池中的任務(wù)執(zhí)行完畢 ? ? pool.join()
該程序首先定義了一個(gè)計(jì)算斐波那契數(shù)列的函數(shù)fibonacci。然后創(chuàng)建了一個(gè)包含4個(gè)進(jìn)程的進(jìn)程池對(duì)象,使用進(jìn)程池的map()方法并行計(jì)算斐波那契數(shù)列的前20項(xiàng)。最后關(guān)閉進(jìn)程池并等待進(jìn)程池中的任務(wù)執(zhí)行完畢,打印出斐波那契數(shù)列的前20項(xiàng)的結(jié)果。
到此這篇關(guān)于python進(jìn)程池的簡(jiǎn)單實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)python進(jìn)程池內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- Python多進(jìn)程庫(kù)multiprocessing中進(jìn)程池Pool類的使用詳解
- Python的進(jìn)程及進(jìn)程池詳解
- python 進(jìn)程池pool使用詳解
- 解決Python 進(jìn)程池Pool中一些坑
- Python多進(jìn)程池 multiprocessing Pool用法示例
- Python 多進(jìn)程并發(fā)操作中進(jìn)程池Pool的實(shí)例
- python多進(jìn)程(加入進(jìn)程池)操作常見(jiàn)案例
- python爬蟲(chóng)之線程池和進(jìn)程池功能與用法詳解
- 對(duì)Python3之進(jìn)程池與回調(diào)函數(shù)的實(shí)例詳解
- python Event事件、進(jìn)程池與線程池、協(xié)程解析
相關(guān)文章
python日志通過(guò)不同的等級(jí)打印不同的顏色(示例代碼)
這篇文章主要介紹了python日志通過(guò)不同的等級(jí)打印不同的顏色,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-01-01Python實(shí)現(xiàn)批量合并Excel文件的第二張合并Excel
在數(shù)據(jù)處理和分析中,經(jīng)常需要對(duì)多個(gè)Excel文件進(jìn)行批量操作,特別是當(dāng)這些文件具有相似的結(jié)構(gòu)時(shí),下面我們就來(lái)看看Python如何實(shí)現(xiàn)批量合并文件夾下所有Excel文件的第二張表吧2024-03-03python簡(jiǎn)易實(shí)現(xiàn)任意位數(shù)的水仙花實(shí)例
今天小編就為大家分享一篇python簡(jiǎn)易實(shí)現(xiàn)任意位數(shù)的水仙花實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-11-11理想高通濾波實(shí)現(xiàn)Python opencv示例
今天小編就為大家分享一篇關(guān)于理想高通濾波實(shí)現(xiàn)Python opencv示例,小編覺(jué)得內(nèi)容挺不錯(cuò)的,現(xiàn)在分享給大家,具有很好的參考價(jià)值,需要的朋友一起跟隨小編來(lái)看看吧2019-01-01