亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

Python并發(fā)concurrent.futures和asyncio實例

 更新時間:2020年05月04日 11:35:07   作者:leason-love  
這篇文章主要介紹了Python并發(fā)concurrent.futures和asyncio實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧

說明

Python標準庫為我們提供了threading和multiprocessing模塊編寫相應(yīng)的多線程/多進程代碼。

從Python3.2開始,標準庫為我們提供了concurrent.futures模塊,concurrent.futures 模塊的主要特色是 ThreadPoolExecutor 和

ProcessPoolExecutor 類,這兩個類實現(xiàn)的接口能分別在不同的線程或進程中執(zhí)行可調(diào)

用的對象。這兩個類在內(nèi)部維護著一個工作線程或進程池,以及要執(zhí)行的任務(wù)隊列。

Python 3.4 以后標準庫中asyncio 包,這個包使用事件循環(huán)驅(qū)動的協(xié)程實現(xiàn)并發(fā)。這是 Python 中最大也

是最具雄心壯志的庫之一。asyncio 大量使用 yield from 表達式,因此與

Python 舊版不兼容。

submit和map方法

submit方法作用是向線程池提交可回調(diào)的task,并返回一個回調(diào)實例。

example:

import time
from concurrent.futures import ThreadPoolExecutor

# 可回調(diào)的task
def pub_task(msg):
  time.sleep(3)
  return msg

# 創(chuàng)建一個線程池
pool = ThreadPoolExecutor(max_workers=3)

# 往線程池加入2個task
task1 = pool.submit(pub_task, 'a')
task2 = pool.submit(pub_task, 'b')

print(task1.done())    # False
time.sleep(4)
print(task2.done())    # True

print(task1.result())
print(task2.result())

map方法是創(chuàng)建一個迭代器,回調(diào)的結(jié)果有序放在迭代器中。

問題:

Executor.map 函數(shù)易于使用,不過有個特性可能有用,也可能沒用,具體情況取決于需求:這個函數(shù)返回結(jié)果的順序與調(diào)用開始的順序一致。

如果第一個調(diào)用生成結(jié)果用時 10秒,而其他調(diào)用只用 1 秒,代碼會阻塞 10 秒,獲取 map 方法返回的生成器產(chǎn)出的第一個結(jié)果。

在此之后,獲取后續(xù)結(jié)果時不會阻塞,因為后續(xù)的調(diào)用已經(jīng)結(jié)束。

如果必須等到獲取所有結(jié)果后再處理,這種行為沒問題;不過,通常更可取的方式是,不管提交的順序,只要有結(jié)果就獲取。

為此,要把 Executor.submit 方法和 futures.as_completed 函數(shù)結(jié)合起來使用。

from concurrent.futures import ThreadPoolExecutor
import requests

URLS = ['http://www.csdn.com', 'http://qq.com', 'http://www.leasonlove.cn']

def task(url, timeout=10):
  return requests.get(url, timeout=timeout)

pool = ThreadPoolExecutor(max_workers=3)
results = pool.map(task, URLS)

for ret in results:
  print('%s, %s' % (ret.url, ret))

future異步編程

Future可以理解為一個在未來完成的操作,這是異步編程的基礎(chǔ)。通常情況下,我們執(zhí)行io操作,訪問url時(如下)在等待結(jié)果返回之前會產(chǎn)生阻塞,cpu不能做其他事情,而Future的引入幫助我們在等待的這段時間可以完成其他的操作。

from concurrent.futures import ThreadPoolExecutor
from concurrent.futures import as_completed
import requests

URLS = ['http://www.csdn.cn', 'http://qq.com', 'http://www.leasonlove.cn']

def task(url, timeout=1):
  return requests.get(url, timeout=timeout)

with ThreadPoolExecutor(max_workers=3) as executor:
  future_tasks = [executor.submit(task, url) for url in URLS]

  for f in future_tasks:
    if f.running():
      print('%s is running' % str(f))

  for f in as_completed(future_tasks):
    try:
      ret = f.done()
      if ret:
        f_ret = f.result()
        print('%s, done, result: %s, %s' % (str(f), f_ret.url, f_ret.content))
    except Exception as e:
      # 第一個url無響應(yīng)
      f.cancel()
      print(str(e))

asyncio庫協(xié)程實現(xiàn)并發(fā)

對于gevent 和 asyncio 建議大家放棄Gevent,擁抱asyncio,asyncio是Python3.4以后標準庫。

而且由于Gevent直接修改標準庫里面大部分的阻塞式系統(tǒng)調(diào)用,包括socket、ssl、threading和 select等模塊,而變?yōu)閰f(xié)作式運行。

但是我們無法保證你在復(fù)雜的生產(chǎn)環(huán)境中有哪些地方使用這些標準庫會由于打了補丁而出現(xiàn)奇怪的問題。

import asyncio
import time
start = time.time()

async def do(x):
  print('Waiting: ', x)
  await asyncio.sleep(x)
  return 'Finish after {}s'.format(x)

task1 = do(1)
task2 = do(2)
task3 = do(4)

tasks = [
  asyncio.ensure_future(task1),
  asyncio.ensure_future(task2),
  asyncio.ensure_future(task3)
]

loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

for task in tasks:
  print('Task result: ', task.result())

end = time.time()
print('TIME: ', end - start)

協(xié)程與線程

如果使用線程做過重要的編程,你就知道寫出程序有多么困難,因為調(diào)度程序任何時候都能中斷線程。

必須記住保留鎖,去保護程序中的重要部分,防止多步操作在執(zhí)行的過程中中斷,防止數(shù)據(jù)處于無效狀態(tài)。

而協(xié)程默認會做好全方位保護,以防止中斷。我們必須顯式產(chǎn)出才能讓程序的余下部分運行。

對協(xié)程來說,無需保留鎖,在多個線程之間同步操作,協(xié)程自身就會同步,因為在任意時刻只有一個協(xié)程運行。

想交出控制權(quán)時,可以使用 yield 或 yield from 把控制權(quán)交還調(diào)度程序。

這就是能夠安全地取消協(xié)程的原因:按照定義,協(xié)程只能在暫停的 yield處取消,因此可以處理 CancelledError 異常,執(zhí)行清理操作。

補充知識:Python-什么時候使用yield?

簡介

很多時候在python代碼中見到了yield,沒有系統(tǒng)學(xué)習(xí)過,自己也沒有用過。

yield語句延遲了語句的執(zhí)行,然后發(fā)送了一個值給調(diào)用者,但保留了一定的狀態(tài)去保證函數(shù)離開之后可以繼續(xù)。當(dāng)繼續(xù)的時候,函數(shù)繼續(xù)執(zhí)行上一個的運行狀態(tài)。這使得它的代碼可以隨著時間產(chǎn)生一系列的值,而不是立即執(zhí)行,然后像一個list一樣發(fā)送他們回來。

例子

例子1:

# A Simple Python program to demonstrate working 
# of yield 
 
# A generator function that yields 1 for first time, 
# 2 second time and 3 third time 
def simpleGeneratorFun(): 
  yield 1
  yield 2
  yield 3
 
# Driver code to check above generator function 
for value in simpleGeneratorFun(): 
  print(value) 

返回語句發(fā)送一個特殊的值給它的調(diào)用者,而yield產(chǎn)生了一系列的值,當(dāng)我們想要遍歷一個序列的時候,我們應(yīng)該使用yield,但不想要把整個序列存儲在內(nèi)存中。

yield用于python的生成器(generator)。一個genertator 被定義得看起來像一個普通函數(shù)一樣,但它需要產(chǎn)生一個數(shù)字得時候,它使用yield,而不是使用return。如果一個函數(shù)里面定義了yield,那么它自動稱為了一個generator函數(shù)。、

例子2:

# A Python program to generate squares from 1 
# to 100 using yield and therefore generator 
 
# An infinite generator function that prints 
# next square number. It starts with 1 
def nextSquare(): 
  i = 1; 
 
  # An Infinite loop to generate squares 
  while True: 
    yield i*i         
    i += 1 # Next execution resumes 
        # from this point   
 
# Driver code to test above generator 
# function 
for num in nextSquare(): 
  if num > 100: 
     break  
  print(num) 

輸出1,4,9…100

以上這篇Python并發(fā)concurrent.futures和asyncio實例就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • python實現(xiàn)fenwick tree芬威克樹算法案例

    python實現(xiàn)fenwick tree芬威克樹算法案例

    芬威克樹,又稱為二叉索引樹或樹狀數(shù)組,是一種高效的數(shù)據(jù)結(jié)構(gòu),由Peter M. Fenwick于1994年提出,主要用于計算數(shù)組的前綴和以及支持對數(shù)時間復(fù)雜度的元素更新,通過維護一個特定的數(shù)組,利用整數(shù)的二進制特性進行區(qū)間和存儲
    2024-10-10
  • Django 自定義權(quán)限管理系統(tǒng)詳解(通過中間件認證)

    Django 自定義權(quán)限管理系統(tǒng)詳解(通過中間件認證)

    這篇文章主要介紹了Django 自定義權(quán)限管理系統(tǒng)詳解(通過中間件認證),具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-03-03
  • Python?SQLAlchemy與數(shù)據(jù)庫交互操作完整指南

    Python?SQLAlchemy與數(shù)據(jù)庫交互操作完整指南

    SQLAlchemy 是一個強大的 Python 庫,用于數(shù)據(jù)庫操作,無論是簡單的數(shù)據(jù)存儲還是復(fù)雜的數(shù)據(jù)管理,SQLAlchemy 都提供了多種方法來處理數(shù)據(jù)庫,本文將全面介紹 SQLAlchemy的基本用法以及各種操作的示例代碼
    2024-01-01
  • 查看keras的默認backend實現(xiàn)方式

    查看keras的默認backend實現(xiàn)方式

    這篇文章主要介紹了查看keras的默認backend實現(xiàn)方式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-06-06
  • 詳解PyCharm配置Anaconda的艱難心路歷程

    詳解PyCharm配置Anaconda的艱難心路歷程

    這篇文章主要介紹了詳解PyCharm配置Anaconda的艱難心路歷程,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2018-08-08
  • 使用Python遍歷文件夾實現(xiàn)查找指定文件夾

    使用Python遍歷文件夾實現(xiàn)查找指定文件夾

    這篇文章主要為大家介紹了如何使用Python遍歷文件夾從而實現(xiàn)查找指定文件夾下所有相同名稱的文件、所有相同后綴名的文件,感興趣的可以了解一下
    2022-07-07
  • 使用Django啟動命令行及執(zhí)行腳本的方法

    使用Django啟動命令行及執(zhí)行腳本的方法

    今天小編就為大家分享一篇使用Django啟動命令行及執(zhí)行腳本的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-05-05
  • python中類和實例如何綁定屬性與方法示例詳解

    python中類和實例如何綁定屬性與方法示例詳解

    最近在學(xué)習(xí)python,純粹是自己的興趣愛好,然而并沒有系統(tǒng)地看python編程書籍,覺得上面描述過于繁瑣,在網(wǎng)站找了一些學(xué)習(xí)的網(wǎng)站,下面這篇文章主要給大家介紹了關(guān)于python中類和實例時如何綁定屬性與方法的相關(guān)資料,需要的朋友可以參考下。
    2017-08-08
  • python中常見的運算符及用法實例

    python中常見的運算符及用法實例

    運算符用于執(zhí)行程序代碼運算,會針對一個以上操作數(shù)項目來進行運算,下面這篇文章主要給大家介紹了關(guān)于python中常見的運算符及用法的相關(guān)資料,需要的朋友可以參考下
    2022-03-03
  • Python中的變量與常量

    Python中的變量與常量

    本文基于Python基礎(chǔ),主要介紹了Python基礎(chǔ)中變量和常量的區(qū)別,對于變量的用法做了詳細的講解,用豐富的案例 ,代碼效果圖的展示幫助大家更好理解,需要的朋友可以參考下
    2021-11-11

最新評論