一、線程池簡介

傳統(tǒng)多線程方案會使用“即時創(chuàng)建，即時銷毀”的策略。盡管與創(chuàng)建進程相比，創(chuàng)建線程的時間已經大大的縮短，但是如果提交給線程的任務時執(zhí)行時間較短，而且執(zhí)行次數(shù)及其頻繁，那么服務器將處于不停的創(chuàng)建線程，銷毀線程的狀態(tài)。

一個線程的運行時間可以分為三部分：線程的啟動時間、線程體的運行時間和線程的銷毀時間。

在多線程處理的情景中，如果線程不能被重用，就意味著每次線程運行都要經過啟動、銷毀和運行3個過程。這必然會增加系統(tǒng)相應的時間，減低了效率。

線程池在系統(tǒng)啟動時即創(chuàng)建大量空閑的線程，程序只要將一個函數(shù)提交給線程池，線程池就會啟動一個空閑的線程來執(zhí)行它。

當該函數(shù)執(zhí)行結束后，該線程并不會死亡，而是再次返回到線程池中變成空閑狀態(tài)，等待執(zhí)行下一個函數(shù)，因此能夠避免多次創(chuàng)建線程，從而節(jié)省線程創(chuàng)建和銷毀的開銷，能帶來更好的性能和穩(wěn)定性。

此外，使用線程池可以有效地控制系統(tǒng)中并發(fā)線程的數(shù)量。當系統(tǒng)中包含有大量的并發(fā)線程時，會導致系統(tǒng)性能急劇下降，甚至導致Python解釋器崩潰，而線程池的最大線程數(shù)參數(shù)可以控制系統(tǒng)中并發(fā)線程的數(shù)量不超過此數(shù)。

服務器CPU數(shù)有限，能夠同時并發(fā)的線程數(shù)有限，并不是開得越多越好，以及線程切換時有開銷的，如果線程切換過于頻繁，反而會使性能降低。

線程池適用于：突發(fā)性大量請求或需要大量線程完成任務，但實際任務處理時間較短的場景

二、線程池在python中的應用

從python3.2開始，標準庫提供了concurrent.futures模塊，它提供了兩個子類：ThreadPoolExecutor和ProcessPoolExecutor。其中ThreadPoolExecutor用于創(chuàng)建線程池，而ProcessPoolExecutor用于創(chuàng)建進程池。不僅可以自動調度線程，還可以做到：

• 主線程可以獲取某一個線程（或任務）的狀態(tài)，以及返回值
• 當一個線程完成的時候，主線程能夠立即知道
• 讓多線程和多進程編碼接口一致

使用線程池/進程池來管理并發(fā)編程，只要將相應的 task 函數(shù)提交給線程池/進程池，剩下的事情就由線程池/進程池來搞定。

ThreadPoolExecutor構造函數(shù)有兩個參數(shù)：

一個是max_workers參數(shù)，用于指定線程池的最大線程數(shù)，如果不指定的話則默認是CPU核數(shù)的5倍。

另一個參數(shù)是thread_name_prefix，它用來指定線程池中線程的名稱前綴（可選），如下：

threadPool = ThreadPoolExecutor(max_workers=self.max_workers, thread_name_prefix="test_")

Exectuor 提供了如下常用方法：

程序將 task 函數(shù)提交（submit）給線程池后，submit 方法會返回一個 Future 對象，F(xiàn)uture 類主要用于獲取線程任務函數(shù)的返回值。由于線程任務會在新線程中以異步方式執(zhí)行，因此線程執(zhí)行的函數(shù)相當于一個“將來完成”的任務，所以 Python 使用 Future 來代表。

Future 提供了如下方法：

線程池用完后，應調用線程池的shutdown()方法，關閉線程池。也可使用with語句來管理線程池，可避免手動關閉線程池

示例一(使用submit方式)：

from concurrent.futures import ThreadPoolExecutor # 導入ThreadPoolExecutor模塊
import time
 
max_workers = 5
t = []
t1 = time.time()
 
# 作為線程任務的函數(shù)
def task(x, y):
    return x + y
 
threadPool = ThreadPoolExecutor(max_workers)    # 創(chuàng)建最大線程數(shù)為max_workers的線程池
 
for i in range(20):     # 循環(huán)向線程池中提交task任務
    future = threadPool.submit(task, i, i+1)
    t.append(future)
 
# 若不需要獲取返回值，則可不需要下面兩行代碼
for i in t:
    print(i.result())   # 獲取每個任務的返回值，result()會阻塞主線程
 
threadPool.shutdown()   # 阻塞主線程，所有任務執(zhí)行完后關閉線程池
print(time.time() - t1)

示例二（使用map方式）：

from concurrent.futures import ThreadPoolExecutor	# 導入ThreadPoolExecutor模塊
 
max_workers = 5
t = []
t1 = time.time()
 
# 作為線程任務的函數(shù)
def task(x):
    return x + (x + 1)
 
args = (0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19)
 
with ThreadPoolExecutor(max_workers) as threadPool:   # 創(chuàng)建最大線程數(shù)為max_workers的線程池
    results = threadPool.map(task, args)    # 啟動線程,并收集每個線任務的返回結果
 
    # 若無返回值，則可不需要下面兩行代碼
    for i in results:
        print(i)   

示例三：

as_complete():是一個生成器，在沒有任務完成的時候會阻塞，在有某個任務完成的時候會yield這個任務，執(zhí)行語句，繼續(xù)阻塞，循環(huán)到所有任務結束，先完成的任務會先通知主線程

from concurrent.futures import ThreadPoolExecutor, as_completed
import time
 
max_workers = 5
t = []
t1 = time.time()
 
# 作為線程任務的函數(shù)
def task(x, y):
    return x + y
 
def handle_result(future):
    print(future.result())
 
with ThreadPoolExecutor(max_workers) as threadPool:    # 創(chuàng)建最大線程數(shù)為max_workers的線程池
 
    for i in range(20):     # 循環(huán)向線程池中提交task任務
        future = threadPool.submit(task, i, i+1)
        t.append(future)
 
    # 若不需要獲取返回值，則可不需要下面兩行代碼
    for future in as_completed(t):  # as_completed,哪個先完成就先處理哪個，會阻塞主線程，直到完成所有，除非設置timeout
        future.add_done_callback(handle_result)

到此這篇關于淺談一下python線程池簡單應用的文章就介紹到這了,更多相關python線程池簡單應用內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

最新評論