python 異步async庫的使用說明
在學(xué)習(xí)asyncio之前,先理清楚同步/異步的概念:
同步是指完成事務(wù)的邏輯,先執(zhí)行第一個(gè)事務(wù),如果阻塞了,會(huì)一直等待,直到這個(gè)事務(wù)完成,再執(zhí)行第二個(gè)事務(wù),順序執(zhí)行
異步是和同步相對(duì)的,異步是指在處理調(diào)用這個(gè)事務(wù)的之后,不會(huì)等待這個(gè)事務(wù)的處理結(jié)果,直接處理第二個(gè)事務(wù)去了,通過狀態(tài)、通知、回調(diào)來通知調(diào)用者處理結(jié)果
asyncio函數(shù):
異步IO采用消息循環(huán)的模式,重復(fù)“讀取消息—處理消息”的過程,也就是說異步IO模型”需要一個(gè)消息循環(huán),在消息循環(huán)中,主線程不斷地重復(fù)“讀取消息-處理消息”這一過程。
event_loop 事件循環(huán):程序開啟一個(gè)無限的循環(huán),程序員會(huì)把一些函數(shù)注冊(cè)到事件循環(huán)上。當(dāng)滿足事件發(fā)生的時(shí)候,調(diào)用相應(yīng)的協(xié)程函數(shù)。
coroutine 協(xié)程:協(xié)程對(duì)象,指一個(gè)使用async關(guān)鍵字定義的函數(shù),它的調(diào)用不會(huì)立即執(zhí)行函數(shù),而是會(huì)返回一個(gè)協(xié)程對(duì)象。協(xié)程對(duì)象需要注冊(cè)到事件循環(huán),由事件循環(huán)調(diào)用。
task 任務(wù):一個(gè)協(xié)程對(duì)象就是一個(gè)原生可以掛起的函數(shù),任務(wù)則是對(duì)協(xié)程進(jìn)一步封裝,其中包含任務(wù)的各種狀態(tài)。
async/await 關(guān)鍵字: 用于定義協(xié)程的關(guān)鍵字,async定義一個(gè)協(xié)程,await用于掛起阻塞的異步調(diào)用接口。
一、asyncio
下面通過舉例來對(duì)比同步代碼和異步代碼編寫方面的差異,其次看下兩者性能上的差距,使用asyncio.sleep(1)模擬耗時(shí)1秒的io操作。
同步代碼:
import time def hello(): time.sleep(1) def run(): for i in range(5): hello() print('Hello World:%s' % time.time()) if __name__ == '__main__': run() Hello World:1536842494.2786784 Hello World:1536842495.2796268 Hello World:1536842496.2802596 Hello World:1536842497.2804587 Hello World:1536842498.2812462
異步代碼:
import time import asyncio # 定義異步函數(shù) async def hello(): print('Hello World:%s' % time.time()) #必須使用await,不能使用yield from;如果是使用yield from ,需要采用@asyncio.coroutine相對(duì)應(yīng) await asyncio.sleep(1) print('Hello wow World:%s' % time.time()) def run(): tasks = [] for i in range(5): tasks.append(hello()) loop.run_until_complete(asyncio.wait(tasks)) loop = asyncio.get_event_loop() if __name__ =='__main__': run() Hello World:1536855050.1950748 Hello World:1536855050.1950748 Hello World:1536855050.1950748 Hello World:1536855050.1960726 Hello World:1536855050.1960726 (暫停約1秒) Hello wow World:1536855051.1993241 Hello wow World:1536855051.1993241 Hello wow World:1536855051.1993241 Hello wow World:1536855051.1993241 Hello wow World:1536855051.1993241
async def 用來定義異步函數(shù),其內(nèi)部有異步操作。每個(gè)線程有一個(gè)事件循環(huán),主線程調(diào)用asyncio.get_event_loop()時(shí)會(huì)創(chuàng)建事件循環(huán),把異步的任務(wù)丟給這個(gè)循環(huán)的run_until_complete()方法,事件循環(huán)會(huì)安排協(xié)同程序的執(zhí)行。
上述程序中,hello()會(huì)首先打印出Hello world!,然后,yield from語法可以讓我們方便地調(diào)用另一個(gè)generator。
由于await asyncio.sleep(1)也是一個(gè)coroutine,所以線程不會(huì)等待asyncio.sleep(1),而是直接中斷并執(zhí)行下一個(gè)消息循環(huán)。
當(dāng)asyncio.sleep(1)返回時(shí),線程就可以從yield from拿到返回值(此處是None),然后接著執(zhí)行下一行語句。
把a(bǔ)syncio.sleep(1)看成是一個(gè)耗時(shí)1秒的IO操作,在此期間,主線程并未等待,而是去執(zhí)行EventLoop中其他可以執(zhí)行的coroutine了,因此可以實(shí)現(xiàn)并發(fā)執(zhí)行。
asyncio操作的總結(jié):
async def hello(): 定義async異步函數(shù),中間可以添加await async.sleep(N) 來設(shè)定中斷并執(zhí)行下一個(gè)循環(huán)消息
tasks = [] 任務(wù)則是對(duì)協(xié)程進(jìn)一步封裝,其中包含任務(wù)的各種狀態(tài)。即多個(gè)coroutine函數(shù)可以封裝成一組Task然后并發(fā)執(zhí)行
loop = asyncio.get_event_loop() #獲取“事件循環(huán)”對(duì)象
loop.run_until_complete(asyncio.wait(tasks)) #通過事件循環(huán),去調(diào)用協(xié)程函數(shù)
loop.close() 結(jié)束時(shí)間循環(huán)
二、aiohttp
如果需要并發(fā)http請(qǐng)求,通常是用requests,但requests是同步的庫,如果想異步的話需要引入aiohttp。
這里引入一個(gè)類,from aiohttp import ClientSession,首先要建立一個(gè)session對(duì)象,然后用session對(duì)象去打開網(wǎng)頁。
session可以進(jìn)行多項(xiàng)操作,比如post, get, put, head等。
基本用法:
async with ClientSession() as session:
async with session.get(url) as response:
aiohttp異步實(shí)現(xiàn)的例子:
import asyncio from aiohttp import ClientSession tasks = [] url = "https://www.baidu.com/{}" async def hello(url): async with ClientSession() as session: async with session.get(url) as response: response = await response.read() print(response) if __name__ == '__main__': loop = asyncio.get_event_loop() loop.run_until_complete(hello(url))
首先async def 關(guān)鍵字定義了這是個(gè)異步函數(shù),await 關(guān)鍵字加在需要等待的操作前面,response.read()等待request響應(yīng),是個(gè)耗IO操作。然后使用ClientSession類發(fā)起http請(qǐng)求。
多鏈接異步訪問
如果我們需要請(qǐng)求多個(gè)URL該怎么辦呢,同步的做法訪問多個(gè)URL只需要加個(gè)for循環(huán)就可以了。但異步的實(shí)現(xiàn)方式并沒那么容易,在之前的基礎(chǔ)上需要將hello()包裝在asyncio的Future對(duì)象中,然后將Future對(duì)象列表作為任務(wù)傳遞給事件循環(huán)。
import time import asyncio from aiohttp import ClientSession tasks = [] url = "https://www.baidu.com/{}" async def hello(url): async with ClientSession() as session: async with session.get(url) as response: response = await response.read() print('Hello World:%s' % time.time()) def run(): for i in range(5): task = asyncio.ensure_future(hello(url.format(i))) tasks.append(task) if __name__ == '__main__': loop = asyncio.get_event_loop() run() loop.run_until_complete(asyncio.wait(tasks)) Hello World:1536843566.064149 Hello World:1536843566.070586 Hello World:1536843566.0769563 Hello World:1536843566.0779328 Hello World:1536843566.0799286
·收集http響應(yīng)
好了,上面介紹了訪問不同鏈接的異步實(shí)現(xiàn)方式,但是我們只是發(fā)出了請(qǐng)求,如果要把響應(yīng)一一收集到一個(gè)列表中,最后保存到本地或者打印出來要怎么實(shí)現(xiàn)呢,可通過asyncio.gather(*tasks)將響應(yīng)全部收集起來
import time import asyncio from aiohttp import ClientSession tasks = [] url = "https://www.baidu.com/{}" async def hello(url): async with ClientSession() as session: async with session.get(url) as response: # print(response) print('Hello World:%s' % time.time()) return await response.read() def run(): for i in range(5): task = asyncio.ensure_future(hello(url.format(i))) tasks.append(task) result = loop.run_until_complete(asyncio.gather(*tasks)) print(result) if __name__ == '__main__': loop = asyncio.get_event_loop() run() Hello World:1536843488.678779 Hello World:1536843488.6797836 Hello World:1536843488.6867576 Hello World:1536843488.6877556 Hello World:1536843488.6877556
以上這篇python 異步async庫的使用說明就是小編分享給大家的全部內(nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
Python深入了解defaultdict之輕松處理默認(rèn)值與復(fù)雜數(shù)據(jù)結(jié)構(gòu)
在Python標(biāo)準(zhǔn)庫collections模塊中,defaultdict提供了一種在字典訪問不存在的鍵時(shí)自動(dòng)提供默認(rèn)值的便利方式,這篇文章詳細(xì)介紹了defaultdict的使用方法、基礎(chǔ)概念、創(chuàng)建實(shí)例的步驟以及應(yīng)用場(chǎng)景,需要的朋友可以參考下2024-09-09Python面向?qū)ο箢惥帉懠?xì)節(jié)分析【類,方法,繼承,超類,接口等】
這篇文章主要介紹了Python面向?qū)ο箢惥帉懠?xì)節(jié),較為詳細(xì)的分析了Python面向?qū)ο蟪绦蛟O(shè)計(jì)中類,方法,繼承,超類,接口等相關(guān)概念、使用技巧與注意事項(xiàng),需要的朋友可以參考下2019-01-01python使用xlrd模塊讀取excel的方法實(shí)例
Python讀取Excel表格,相比xlwt來說,xlrd提供的接口比較多,下面這篇文章主要給大家介紹了關(guān)于python使用xlrd模塊讀取excel的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-03-03基于Python實(shí)現(xiàn)用戶管理系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了基于Python實(shí)現(xiàn)用戶管理系統(tǒng),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2019-02-02python數(shù)據(jù)類型之間怎么轉(zhuǎn)換技巧分享
在本篇文章里小編給大家分享的是關(guān)于python數(shù)據(jù)類型之間怎么轉(zhuǎn)換實(shí)例以及小技巧內(nèi)容,有興趣的朋友們參考下。2019-08-08