python使用 multiprocessing 多進(jìn)程處理批量數(shù)據(jù)的示例代碼
更新時間：2023年09月11日 11:20:04 作者：DexterLien
這篇文章主要介紹了使用 multiprocessing 多進(jìn)程處理批量數(shù)據(jù)的示例代碼,本文通過示例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
示例代碼
import multiprocessing
def process_data(data):
# 這里是處理單個數(shù)據(jù)的過程
return data * 2
# 待處理的數(shù)據(jù)
data = [1, 2, 3, 4, 5]
def normal_func():
# 普通處理方式
result = []
for obj in data:
result.append(process_data(obj)
return result
def parallel_func():
# 多進(jìn)程處理方式
pool = multiprocessing.Pool(multiprocessing.cpu_count())
result = pool.map(process_data, data)
pool.close()
return result
if __name__ == '__main__':
result = normal_func()
result = parallel_func()multiprocessing.Pool 創(chuàng)建進(jìn)程池, 傳入的參數(shù)是要要使用的 CPU 內(nèi)核數(shù)量, 直接用 cpu_count() 可以拿到當(dāng)前硬件配置所有的 CPU 內(nèi)核數(shù).
pool.map 可以直接將處理后的結(jié)果拼接成一個 list 對象
應(yīng)用在實際數(shù)據(jù)處理代碼的效果對比:
普通處理方式, 用時 221 秒
多進(jìn)程處理方式, 用時 39 秒, 節(jié)省了 82% 的時間
到此這篇關(guān)于使用 multiprocessing 多進(jìn)程處理批量數(shù)據(jù)的文章就介紹到這了,更多相關(guān) multiprocessing 多進(jìn)程處理批量數(shù)據(jù)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Anaconda和ipython環(huán)境適配的實現(xiàn)
這篇文章主要介紹了Anaconda和ipython環(huán)境適配的實現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
Python?數(shù)據(jù)可視化神器Pyecharts繪制圖像練習(xí)
這篇文章主要介紹了Python?數(shù)據(jù)可視化神器Pyecharts繪制圖像練習(xí)，繪制的圖形有柱狀圖、餅狀圖、箱型圖、折線圖、雷達(dá)圖等多種圖像，需要的小伙伴可以參考一下2022-02-02
Python數(shù)據(jù)可視化常用4大繪圖庫原理詳解
這篇文章主要介紹了Python數(shù)據(jù)可視化常用4大繪圖庫原理詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-10-10
如何使用 Python 讀取文件和照片的創(chuàng)建日期
這篇文章主要介紹了如何使用 Python 讀取文件和照片的創(chuàng)建日期,本文通過實例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-09-09
這篇文章主要介紹了Python實現(xiàn)對Excel表格的操作,在數(shù)據(jù)處理和報告生成等工作中,Excel表格是一種常見且廣泛使用的工具,使用Python來處理Excel表格能夠大大的提升效率,感興趣的同學(xué)可以參考下2024-02-02
這篇文章主要為大家詳細(xì)介紹了微信跳一跳小程序Python腳本，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-01-01
圖片有的時候需要矯正，本文主要介紹了python中opencv實現(xiàn)圖片文本傾斜校正，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-06-06
這篇文章主要介紹了Python實用工具FuckIt.py介紹,FuckIt.py 使用了最先進(jìn)的技術(shù)能夠使你的代碼不管里面有什么樣的錯誤，你只管 FuckIt，程序就能“正常”執(zhí)行，兵來將擋水來土掩,需要的朋友可以參考下2019-07-07
詳解Python連接MySQL數(shù)據(jù)庫的多種方式
這篇文章主要介紹了Python連接MySQL數(shù)據(jù)庫方式，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04
Python使用PyQt5/PySide2編寫一個極簡的音樂播放器功能
這篇文章主要介紹了Python中使用PyQt5/PySide2編寫一個極簡的音樂播放器功能，本文通過實例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值,需要的朋友可以參考下2020-02-02