Python中網(wǎng)絡(luò)請求中Retry策略實(shí)現(xiàn)方式

更新時間：2024年06月28日 08:42:45 作者：南風(fēng)以南

這篇文章主要介紹了Python中網(wǎng)絡(luò)請求中Retry策略實(shí)現(xiàn)方式,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教

1. 重試機(jī)制的必要性

在大規(guī)模分布式系統(tǒng)環(huán)境下，服務(wù)間通信由于多種原因（如網(wǎng)絡(luò)抖動、服務(wù)瞬時不可達(dá)等）可能面臨失敗的風(fēng)險(xiǎn)。

通過引入自動重試機(jī)制，能夠有效提升系統(tǒng)的整體可靠性和容錯性能，尤其對于緩解暫時性故障造成的請求失敗現(xiàn)象，合理設(shè)計(jì)的重試策略顯得至關(guān)重要。

2. 實(shí)現(xiàn)重試機(jī)制的基本流程

在requests庫中實(shí)現(xiàn)請求自動重試通常遵循以下五個步驟：

導(dǎo)入必需模塊：引入requests庫及其內(nèi)部組件，同時包含urllib3的Retry類。
創(chuàng)建HTTPAdapter實(shí)例：初始化一個HTTPAdapter對象，它是自定義請求適配器。
配置Retry策略：在HTTPAdapter上定義并設(shè)置重試規(guī)則，包括重試次數(shù)、狀態(tài)碼范圍、異常類型等條件。
將Adapter掛載到Session：將配置好的重試策略關(guān)聯(lián)到Session對象，以便所有通過該Session發(fā)出的請求均能應(yīng)用此重試策略。
使用帶有重試策略的Session發(fā)送請求：最后，利用配置了重試功能的Session對象執(zhí)行實(shí)際的HTTP請求。

3. 使用urllib3實(shí)現(xiàn)重試邏輯

接下來通過具體示例詳細(xì)說明如何為requests請求添加重試邏輯。

3.1. 導(dǎo)入相關(guān)模塊

首先，確保正確導(dǎo)入所需的庫和類。

import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

3.2. 配置重試策略

利用Retry類定義一個自定義的重試策略，可以針對重試次數(shù)、指數(shù)退避因子、特定狀態(tài)碼列表以及允許重試的HTTP方法進(jìn)行精確控制。

# 定義重試策略，例如：總共重試5次，每次重試之間按指數(shù)退避，針對特定狀態(tài)碼進(jìn)行重試，并僅限于GET和POST方法
retries = Retry(
    total=5,  # 總共嘗試重試次數(shù)
    backoff_factor=1,  # 指數(shù)退避因子，用于計(jì)算兩次重試之間的等待時間
    status_forcelist=[500, 502, 503, 504],  # 觸發(fā)重試的狀態(tài)碼集合
    allowed_methods=frozenset(["GET", "POST"]),  # 允許重試的HTTP方法
)

3.3. 創(chuàng)建HTTPAdapter并設(shè)置重試策略

創(chuàng)建一個HTTPAdapter實(shí)例，并為其配置前面定義好的重試策略。

1adapter = HTTPAdapter(max_retries=retries)  # 創(chuàng)建HTTPAdapter并設(shè)置最大重試次數(shù)

3.4. 將Adapter掛載至Session

創(chuàng)建一個Session對象，并將上述已配置好重試策略的adapter應(yīng)用于HTTP和HTTPS協(xié)議的請求。

session = requests.Session()
session.mount('http://', adapter)  # 對HTTP請求啟用重試策略
session.mount('https://', adapter)  # 對HTTPS請求啟用重試策略

3.5. 發(fā)送具有重試功能的請求

使用配置了重試策略的session對象向目標(biāo)URL發(fā)起請求。

url = "http://httpbin.org/status/500"
response = session.get(url)  # 使用具有重試功能的Session對象發(fā)送請求

4. 示例：請求一個可能返回錯誤的服務(wù)

以下是一個完整的示例，其中包含了錯誤處理機(jī)制：

import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

def request_with_retry(url, max_retries=5, backoff_factor=1, status_forcelist=None):
    if status_forcelist is None:
        status_forcelist = [500, 502, 503, 504]  # 默認(rèn)重試狀態(tài)碼集合

    session = requests.Session()
    retries = Retry(total=max_retries,
                    backoff_factor=backoff_factor,
                    status_forcelist=status_forcelist,
                    method_whitelist=["GET", "POST"])
    adapter = HTTPAdapter(max_retries=retries)
    session.mount('http://', adapter)
    session.mount('https://', adapter)

    try:
        response = session.get(url)
        response.raise_for_status()  # 如果響應(yīng)狀態(tài)碼為4XX或5XX，將拋出HTTPError異常
        return response
    except requests.exceptions.HTTPError as e:
        print(f"HTTP 錯誤: {e}")
    except requests.exceptions.ConnectionError as e:
        print(f"連接錯誤: {e}")
    except requests.exceptions.Timeout as e:
        print(f"超時錯誤: {e}")
    except requests.exceptions.RequestException as e:
        print(f"請求異常: {e}")

url = "http://httpbin.org/status/500"
response = request_with_retry(url)

if response:
    print(response.text)

在上述示例中，當(dāng)服務(wù)返回500系列錯誤或是發(fā)生連接異常時，request_with_retry函數(shù)將按照預(yù)設(shè)的最大重試次數(shù)（默認(rèn)為5次）嘗試重新發(fā)起請求。