亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

Python中的并發(fā)處理之a(chǎn)syncio包使用的詳解

 更新時(shí)間:2018年04月03日 14:33:24   作者:Hanwencheng  
本篇文章主要介紹了Python中的并發(fā)處理之a(chǎn)syncio包使用的詳解,小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧

導(dǎo)語(yǔ):本文章記錄了本人在學(xué)習(xí)Python基礎(chǔ)之控制流程篇的重點(diǎn)知識(shí)及個(gè)人心得,打算入門Python的朋友們可以來(lái)一起學(xué)習(xí)并交流。

本文重點(diǎn):

1、了解asyncio包的功能和使用方法;
2、了解如何避免阻塞型調(diào)用;
3、學(xué)會(huì)使用協(xié)程避免回調(diào)地獄。

一、使用asyncio包做并發(fā)編程

1、并發(fā)與并行

并發(fā):一次處理多件事。
并行:一次做多件事。
并發(fā)用于制定方案,用來(lái)解決可能(但未必)并行的問(wèn)題。并發(fā)更好。

2、asyncio概述

了解asyncio的4個(gè)特點(diǎn):

  1. asyncio包使用事件循環(huán)驅(qū)動(dòng)的協(xié)程實(shí)現(xiàn)并發(fā)。
  2. 適合asyncio API的協(xié)程在定義體中必須使用yield from,而不能使用yield。
  3. 使用asyncio處理的協(xié)程,需在定義體上使用@asyncio.coroutine裝飾。裝飾的功能在于凸顯協(xié)程,同時(shí)當(dāng)協(xié)程不產(chǎn)出值,協(xié)程會(huì)被垃圾回收。
  4. Python3.4起,asyncio包只直接支持TCP和UDP協(xié)議。如果想使用asyncio實(shí)現(xiàn)HTTP客戶端和服務(wù)器時(shí),常使用aiohttp包。

在協(xié)程中使用yield from需要注意兩點(diǎn):

  1. 使用yield froml鏈接的多個(gè)協(xié)程最終必須由不是協(xié)程的調(diào)用方驅(qū)動(dòng),調(diào)用方顯式或隱式在最外層委派生成器上調(diào)用next()函數(shù)或 .send()方法。
  2. 鏈條中最內(nèi)層的子生成器必須是簡(jiǎn)單的生成器(只使用yield)或可迭代的對(duì)象。

但在asyncio包的API中使用yield from還需注意兩個(gè)細(xì)節(jié):

  1. asyncio包中編寫的協(xié)程鏈條始終通過(guò)把最外層委派生成器傳給asyncio包API中的某個(gè)函數(shù)驅(qū)動(dòng),例如loop.run_until_complete()。即不通過(guò)調(diào)用next()函數(shù)或 .send()方法驅(qū)動(dòng)協(xié)程。
  2. 編寫的協(xié)程鏈條最終通過(guò)yield from把職責(zé)委托給asyncio包中的某個(gè)協(xié)程函數(shù)或協(xié)程方法。即最內(nèi)層的子生成器是庫(kù)中真正執(zhí)行I/O操作的函數(shù),而不是我們自己編寫的函數(shù)。

實(shí)例——通過(guò)asyncio包和協(xié)程以動(dòng)畫形式顯示文本式旋轉(zhuǎn)指針:

import asyncio
import itertools
import sys

@asyncio.coroutine # 交給 asyncio 處理的協(xié)程要使用 @asyncio.coroutine 裝飾
def spin(msg):
  for char in itertools.cycle('|/-\\'):
    status = char + ' ' + msg
    print(status)
    try:
      yield from asyncio.sleep(.1) # 使用 yield from asyncio.sleep(.1) 代替 time.sleep(.1),這樣的休眠不會(huì)阻塞事件循環(huán)。
    except asyncio.CancelledError: # 如果 spin 函數(shù)蘇醒后拋出 asyncio.CancelledError 異常,其原因是發(fā)出了取消請(qǐng)求,因此退出循環(huán)。
      break

@asyncio.coroutine
def slow_function(): # slow_function 函數(shù)是協(xié)程,在用休眠假裝進(jìn)行 I/O 操作時(shí),使用 yield from 繼續(xù)執(zhí)行事件循環(huán)。
  # 假裝等待I/O一段時(shí)間
  yield from asyncio.sleep(3) # yield from asyncio.sleep(3) 表達(dá)式把控制權(quán)交給主循環(huán),在休眠結(jié)束后恢復(fù)這個(gè)協(xié)程。
  return 42

@asyncio.coroutine
def supervisor(): # supervisor 函數(shù)也是協(xié)程
  spinner = asyncio.async(spin('thinking!')) # asyncio.async(...) 函數(shù)排定 spin 協(xié)程的運(yùn)行時(shí)間,使用一個(gè) Task 對(duì)象包裝spin 協(xié)程,并立即返回。
  print('spinner object:', spinner)
  result = yield from slow_function() # 驅(qū)動(dòng) slow_function() 函數(shù)。結(jié)束后,獲取返回值。
# 同時(shí),事件循環(huán)繼續(xù)運(yùn)行,因?yàn)閟low_function 函數(shù)最后使用 yield from asyncio.sleep(3) 表達(dá)式把控制權(quán)交回給了主循環(huán)。
  spinner.cancel() # Task 對(duì)象可以取消;取消后會(huì)在協(xié)程當(dāng)前暫停的 yield 處拋出 asyncio.CancelledError 異常。協(xié)程可以捕獲這個(gè)異常,也可以延遲取消,甚至拒絕取消。
  return result

if __name__ == '__main__':
  loop = asyncio.get_event_loop() # 獲取事件循環(huán)的引用
  result = loop.run_until_complete(supervisor()) # 驅(qū)動(dòng) supervisor 協(xié)程,讓它運(yùn)行完畢;這個(gè)協(xié)程的返回值是這次調(diào)用的返回值。
  loop.close()
  print('Answer:', result)

3、線程與協(xié)程對(duì)比

線程:調(diào)度程序在任何時(shí)候都能中斷線程。必須記住保留鎖。去保護(hù)程序中的重要部分,防止多步操作在執(zhí)行的過(guò)程中中斷,防止數(shù)據(jù)處于無(wú)效狀態(tài)。

協(xié)程:默認(rèn)會(huì)做好全方位保護(hù),以防止中斷。對(duì)協(xié)程來(lái)說(shuō)無(wú)需保留鎖,在多個(gè)線程之間同步操作,協(xié)程自身就會(huì)同步,因?yàn)樵谌我鈺r(shí)刻只有一個(gè)協(xié)程運(yùn)行。

4、從期物、任務(wù)和協(xié)程中產(chǎn)出

在asyncio包中,期物和協(xié)程關(guān)系緊密,因?yàn)榭梢允褂脃ield from從asyncio.Future對(duì)象中產(chǎn)出結(jié)果。這意味著,如果foo是協(xié)程函數(shù),抑或是返回Future或Task實(shí)例的普通函數(shù),那么可以這樣寫:res=yield from foo()。這是asyncio包中很多地方可以互換協(xié)程與期物的原因之一。

二、避免阻塞型調(diào)用

1、有兩種方法能避免阻塞型調(diào)用中止整個(gè)應(yīng)用程序的進(jìn)程:

  1. 在單獨(dú)的線程中運(yùn)行各個(gè)阻塞型操作。
  2. 把每個(gè)阻塞型操作轉(zhuǎn)換成非阻塞的異步調(diào)用。

使用多線程處理大量連接時(shí)將耗費(fèi)過(guò)多的內(nèi)存,故此通常使用回調(diào)來(lái)實(shí)現(xiàn)異步調(diào)用。

2、使用Executor對(duì)象防止阻塞事件循環(huán):

使用loop.run_in_executor把阻塞的作業(yè)(例如保存文件)委托給線程池做。

@asyncio.coroutine
def download_one(cc, base_url, semaphore, verbose):
  try:
    with (yield from semaphore):
      image = yield from get_flag(base_url, cc)
  except web.HTTPNotFound:
    status = HTTPStatus.not_found
    msg = 'not found'
  except Exception as exc:
    raise FetchError(cc) from exc
  else:
    loop = asyncio.get_event_loop() # 獲取事件循環(huán)對(duì)象的引用
    loop.run_in_executor(None, # None 使用默認(rèn)的 TrreadPoolExecutor 實(shí)例
        save_flag, image, cc.lower() + '.gif') # 傳入可調(diào)用對(duì)象
    status = HTTPStatus.ok
    msg = 'OK'

  if verbose and msg:
    print(cc, msg)

  return Result(status, cc)

asyncio 的事件循環(huán)背后維護(hù)一個(gè) ThreadPoolExecutor 對(duì)象,我們可以調(diào)用 run_in_executor 方法, 把可調(diào)用的對(duì)象發(fā)給它執(zhí)行。

三、從回調(diào)到期物和協(xié)程

回調(diào)地獄:如果一個(gè)操作需要依賴之前操作的結(jié)果,那就得嵌套回調(diào)。

Python 中的回調(diào)地獄:

def stage1(response1):
  request2 = step1(response1)
  api_call2(request2, stage2)

def stage2(response2):
  request3 = step2(response2)
  api_call3(request3, stage3)

def stage3(response3):
  step3(response3)

api_call1(request1, step1)

使用 協(xié)程 和 yield from 結(jié)構(gòu)做異步編程,無(wú)需用回調(diào):

@asyncio.coroutine
def three_stages(request1):
  response1 = yield from api_call1()
  request2 = step1(response1)
  response2 = yield from api_call2(request2)
  request3 = step2(response2)
  response3 = yield from api_call3(request3)
  step3(response3)

loop.create_task(three_stages(request1))
# 協(xié)程不能直接調(diào)用,必須用事件循環(huán)顯示指定協(xié)程的執(zhí)行時(shí)間,或者在其他排定了執(zhí)行時(shí)間的協(xié)程中使用 yield from 表達(dá)式把它激活

四、使用asyncio包編寫服務(wù)器

  1. 使用asyncio包能實(shí)現(xiàn)TCP和HTTP服務(wù)器
  2. Web服務(wù)將成為asyncio包的重要使用場(chǎng)景。

以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • plotly分割顯示mnist的方法詳解

    plotly分割顯示mnist的方法詳解

    這篇文章主要為大家詳細(xì)介紹了plotly分割顯示mnist的方法,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下,希望能夠給你帶來(lái)幫助
    2022-03-03
  • python爬蟲利器之requests庫(kù)的用法(超全面的爬取網(wǎng)頁(yè)案例)

    python爬蟲利器之requests庫(kù)的用法(超全面的爬取網(wǎng)頁(yè)案例)

    這篇文章主要介紹了python爬蟲利器之requests庫(kù)的用法(超全面的爬取網(wǎng)頁(yè)案例),本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2020-12-12
  • Pyspark讀取parquet數(shù)據(jù)過(guò)程解析

    Pyspark讀取parquet數(shù)據(jù)過(guò)程解析

    這篇文章主要介紹了pyspark讀取parquet數(shù)據(jù)過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2020-03-03
  • Pandas 實(shí)現(xiàn)分組計(jì)數(shù)且不計(jì)重復(fù)

    Pandas 實(shí)現(xiàn)分組計(jì)數(shù)且不計(jì)重復(fù)

    這篇文章主要介紹了Pandas 實(shí)現(xiàn)分組計(jì)數(shù)且不計(jì)重復(fù)的操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2021-03-03
  • 深入理解Python中的Contextlib庫(kù)

    深入理解Python中的Contextlib庫(kù)

    Python提供了一些內(nèi)建的庫(kù)以支持各種常見(jiàn)的編程任務(wù),Contextlib庫(kù)是其中之一,它提供了一些用于支持上下文管理協(xié)議(即with語(yǔ)句)的函數(shù),這篇文章將詳細(xì)介紹如何使用Contextlib庫(kù)中的功能,需要的朋友可以參考下
    2023-06-06
  • python基于tkinter點(diǎn)擊按鈕實(shí)現(xiàn)圖片的切換

    python基于tkinter點(diǎn)擊按鈕實(shí)現(xiàn)圖片的切換

    這篇文章主要介紹了python基于tkinter點(diǎn)擊按鈕實(shí)現(xiàn)圖片的切換,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2021-04-04
  • pyecharts繪制中國(guó)2020肺炎疫情地圖的實(shí)例代碼

    pyecharts繪制中國(guó)2020肺炎疫情地圖的實(shí)例代碼

    在本篇文章里小編給大家整理的是關(guān)于pyecharts繪制中國(guó)2020肺炎疫情地圖的實(shí)例代碼內(nèi)容,有興趣的朋友們可以測(cè)試下。
    2020-02-02
  • pycharm中創(chuàng)建sql文件及模板的過(guò)程

    pycharm中創(chuàng)建sql文件及模板的過(guò)程

    很多小伙伴剛開始使用pycharm時(shí)發(fā)現(xiàn)以前的老員工在使用pycharm創(chuàng)建sql文件時(shí)會(huì)自帶文件頭模板,例如時(shí)間、作者、版本、郵件等信息,這是怎么做到的呢,一起來(lái)看一下吧
    2022-07-07
  • Python Pygame實(shí)戰(zhàn)之打地鼠小游戲

    Python Pygame實(shí)戰(zhàn)之打地鼠小游戲

    Pygame庫(kù)是專門為了幫助做出的游戲和其他多媒體應(yīng)用Python編程語(yǔ)言的一個(gè)開放源代碼模塊。本文將利用Pygame模塊制作一個(gè)打地鼠的小游戲,快跟隨小編一起學(xué)習(xí)一下吧
    2022-01-01
  • python處理中文編碼和判斷編碼示例

    python處理中文編碼和判斷編碼示例

    在開發(fā)自用爬蟲過(guò)程中,有的網(wǎng)頁(yè)是utf-8,有的是gb2312,有的是gbk,如果不加處理,采集到的都是亂碼,解決的方法是將html處理成統(tǒng)一的utf-8編碼
    2014-02-02

最新評(píng)論