亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

python使用期物處理并發(fā)教程

 更新時(shí)間:2022年06月13日 11:48:24   作者:Michael阿明  
這篇文章主要為大家介紹了python使用期物處理并發(fā)教程,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪

learning from 《流暢的python》

1. futures.ThreadPoolExecutor

import os
import time
import sys
import requests
POP20_CC = ('CN IN US ID BR PK NG BD RU JP ' 'MX PH VN ET EG DE IR TR CD FR').split()
BASE_URL = 'http://flupy.org/data/flags'
DEST_DIR = './'
def save_flag(img, filename):  # 保存圖像
    path = os.path.join(DEST_DIR, filename)
    with open(path, 'wb') as fp:
        fp.write(img)
def get_flag(cc):  # 獲取圖像
    url = '{}/{cc}/{cc}.gif'.format(BASE_URL, cc=cc.lower())
    resp = requests.get(url)
    return resp.content
def show(text):  # 打印信息
    print(text, end=' ')
    sys.stdout.flush()
def download_many(cc_list):
    for cc in sorted(cc_list):
        image = get_flag(cc)  # 獲取
        show(cc)  # 打印
        save_flag(image, cc.lower() + '.gif')  # 保存
    return len(cc_list)
def main(download_many):
    t0 = time.time()
    count = download_many(POP20_CC)
    elapsed = time.time() - t0
    msg = '\n{} flags downloaded in {:.2f}s'
    print(msg.format(count, elapsed))  # 計(jì)時(shí)信息
# ----使用 futures.ThreadPoolExecutor 類實(shí)現(xiàn)多線程下載
from concurrent import futures
MAX_WORKERS = 20  # 最多使用幾個(gè)線程
def download_one(cc):
    image = get_flag(cc)
    show(cc)
    save_flag(image, cc.lower() + '.gif')
    return cc
def download_many_1(cc_list):
    workers = min(MAX_WORKERS, len(cc_list))
    with futures.ThreadPoolExecutor(workers) as executor:
        #  使用工作的線程數(shù)實(shí)例化 ThreadPoolExecutor 類;
        #  executor.__exit__ 方法會(huì)調(diào)用 executor.shutdown(wait=True) 方法,
        #  它會(huì)在所有線程都執(zhí)行完畢 前阻塞線程
        res = executor.map(download_one, sorted(cc_list))
        # download_one 函數(shù) 會(huì)在多個(gè)線程中并發(fā)調(diào)用;
        # map 方法返回一個(gè)生成器,因此可以迭代, 獲取各個(gè)函數(shù)返回的值
    return len(list(res))
if __name__ == '__main__':
    # main(download_many) # 24 秒
    main(download_many_1)  # 3 秒

2. 期物

通常不應(yīng)自己創(chuàng)建期物

只能由并發(fā)框架(concurrent.futures 或 asyncio)實(shí)例化 原因:期物 表示終將發(fā)生的事情,其 執(zhí)行的時(shí)間 已經(jīng)排定。因此,只有排定把某件事交給 concurrent.futures.Executor 子類處理時(shí),才會(huì)創(chuàng)建 concurrent.futures.Future 實(shí)例

例如,Executor.submit() 方法的參數(shù)是一個(gè)可調(diào)用的對(duì)象,調(diào)用這個(gè)方法后會(huì)為傳入的可調(diào)用對(duì)象 排期,并返回一個(gè)期物

def download_many_2(cc_list):
    cc_list = cc_list[:5]
    with futures.ThreadPoolExecutor(max_workers=3) as executor:
        to_do = []
        for cc in sorted(cc_list):
            future = executor.submit(download_one, cc)
            # executor.submit 方法排定可調(diào)用對(duì)象的執(zhí)行時(shí)間,
            # 然后返回一個(gè) 期物,表示這個(gè)待執(zhí)行的操作
            to_do.append(future) # 存儲(chǔ)各個(gè)期物
            msg = 'Scheduled for {}: {}'
            print(msg.format(cc, future))
        results = []
        for future in futures.as_completed(to_do):
            # as_completed 函數(shù)在期物運(yùn)行結(jié)束后產(chǎn)出期物
            res = future.result() # 獲取期物的結(jié)果
            msg = '{} result: {!r}'
            print(msg.format(future, res))
            results.append(res)
    return len(results)
輸出:
Scheduled for BR: <Future at 0x22da99d2d30 state=running>
Scheduled for CN: <Future at 0x22da99e1040 state=running>
Scheduled for ID: <Future at 0x22da99e1b20 state=running>
Scheduled for IN: <Future at 0x22da99ec520 state=pending>
Scheduled for US: <Future at 0x22da99ecd00 state=pending>
CN <Future at 0x22da99e1040 state=finished returned str> result: 'CN'
BR <Future at 0x22da99d2d30 state=finished returned str> result: 'BR'
ID <Future at 0x22da99e1b20 state=finished returned str> result: 'ID'
IN <Future at 0x22da99ec520 state=finished returned str> result: 'IN'
US <Future at 0x22da99ecd00 state=finished returned str> result: 'US'
5 flags downloaded in 3.20s

3. 阻塞型I/O和GIL

CPython 解釋器本身就不是線程安全的,因此有全局解釋器鎖(GIL), 一次只允許使用一個(gè)線程執(zhí)行 Python 字節(jié)碼。因此,一個(gè) Python 進(jìn)程 通常不能同時(shí)使用多個(gè) CPU 核心

標(biāo)準(zhǔn)庫(kù)中所有執(zhí)行阻塞型 I/O 操作的函數(shù),在等待操作系統(tǒng)返回結(jié)果時(shí) 都會(huì)釋放 GIL。 這意味著在 Python 語言這個(gè)層次上可以使用多線程,而 I/O 密集型 Python 程序能從中受益:一個(gè) Python 線程等待網(wǎng)絡(luò)響應(yīng)時(shí),阻塞型 I/O 函數(shù)會(huì)釋放 GIL,再運(yùn)行一個(gè)線程(網(wǎng)絡(luò)下載,文件讀寫都屬于 IO 密集型)

4. 使用concurrent.futures模塊啟動(dòng)進(jìn)程

這個(gè)模塊實(shí)現(xiàn)的是真正 的并行計(jì)算,因?yàn)樗褂?ProcessPoolExecutor 類把工作分配給多個(gè) Python 進(jìn)程處理。 因此,如果需要做 CPU 密集型處理,使用這個(gè)模塊 能繞開 GIL,利用所有可用的 CPU 核心

點(diǎn)擊查看:進(jìn)程、線程概念差異

使用 concurrent.futures 模塊能特別輕松地 把 基于線程 的方案轉(zhuǎn)成 基于進(jìn)程 的方案

ProcessPoolExecutor 的價(jià)值體現(xiàn)在 CPU 密集型 作業(yè)上

以上就是python使用期物處理并發(fā)教程的詳細(xì)內(nèi)容,更多關(guān)于python期物處理并發(fā)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • Pytorch中的VGG實(shí)現(xiàn)修改最后一層FC

    Pytorch中的VGG實(shí)現(xiàn)修改最后一層FC

    今天小編就為大家分享一篇Pytorch中的VGG實(shí)現(xiàn)修改最后一層FC,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2020-01-01
  • 在python 不同時(shí)區(qū)之間的差值與轉(zhuǎn)換方法

    在python 不同時(shí)區(qū)之間的差值與轉(zhuǎn)換方法

    今天小編就為大家分享一篇在python 不同時(shí)區(qū)之間的差值與轉(zhuǎn)換方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2019-01-01
  • Python 變量的創(chuàng)建過程詳解

    Python 變量的創(chuàng)建過程詳解

    這篇文章主要介紹了Python 變量的創(chuàng)建過程詳解,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2019-09-09
  • Python中axis=0與axis=1指的方向有什么不同詳解

    Python中axis=0與axis=1指的方向有什么不同詳解

    對(duì)數(shù)據(jù)進(jìn)行操作時(shí),經(jīng)常需要在橫軸方向或者數(shù)軸方向?qū)?shù)據(jù)進(jìn)行操作,這時(shí)需要設(shè)定參數(shù)axis的值,下面這篇文章主要給大家介紹了關(guān)于Python中axis=0與axis=1指的方向有什么不同的相關(guān)資料,需要的朋友可以參考下
    2024-01-01
  • python動(dòng)態(tài)監(jiān)控日志內(nèi)容的示例

    python動(dòng)態(tài)監(jiān)控日志內(nèi)容的示例

    本文介紹如何使用Python動(dòng)態(tài)監(jiān)控程序日志的內(nèi)容,這里的動(dòng)態(tài)指的是日志文件不斷的追加新的日志內(nèi)容,動(dòng)態(tài)監(jiān)控是指監(jiān)控日志新追加的日志內(nèi)容
    2014-02-02
  • Python使用imagehash庫(kù)生成ahash算法的示例代碼

    Python使用imagehash庫(kù)生成ahash算法的示例代碼

    aHash、pHash、dHash是常用的圖像相似度識(shí)別算法,本文將利用Python中的imagehash庫(kù)生成這一算法,從而實(shí)現(xiàn)計(jì)算圖片相似度,感興趣的可以了解一下
    2022-11-11
  • Python try-except-else-finally的具體使用

    Python try-except-else-finally的具體使用

    本文主要介紹了Python try-except-else-finally的具體使用,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2021-08-08
  • selenium學(xué)習(xí)教程之定位以及切換frame(iframe)

    selenium學(xué)習(xí)教程之定位以及切換frame(iframe)

    這篇文章主要給大家介紹了關(guān)于selenium學(xué)習(xí)教程之定位以及切換frame(iframe)的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2021-01-01
  • 淺談python為什么不需要三目運(yùn)算符和switch

    淺談python為什么不需要三目運(yùn)算符和switch

    下面小編就為大家?guī)硪黄獪\談python為什么不需要三目運(yùn)算符和switch。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧
    2016-06-06
  • Python加密word文檔詳解

    Python加密word文檔詳解

    這篇文章主要介紹了Python實(shí)現(xiàn)對(duì)word文檔添加密碼去除密碼,本文通過實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2021-08-08

最新評(píng)論