Python如何使用Requests下載文件并且顯示進度條

更新時間：2024年12月17日 09:35:45 作者：LLLibra146

這篇文章主要為大家詳細介紹了如何使用?Requests?下載文件并且顯示進度條,文中的示例代碼講解詳細,感興趣的小伙伴可以跟隨小編一起學習一下

引言

本篇文章來分享一下如何使用 Requests 下載文件并且顯示進度條。

下載文件

說到下載文件，大家可能一下子就能寫出以下的代碼：

import requests

total = 10485
url = f'https://speed.cloudflare.com/__down?during=download&bytes={total}'
# 上面的 URL 是 cloudflare 的測試鏈接，可以傳入想要下載的長度
res = requests.get(url)

with open('test.file', 'wb') as file:
    file.write(res.content)
print('下載完成')

這樣寫當然沒問題，但是有幾個問題：

文件內(nèi)容都放到了內(nèi)存中，并且沒有下載進度
如果文件很大，不光下載時間很久，而且占用很大內(nèi)存無法釋放，只有下載完成后才能釋放
沒有下載進度，不知道下載是否還在進行中，不知道何時結(jié)束，不知道下載的狀態(tài)

Requests 分塊下載

為了解決上面的問題，我們需要用到流式傳輸，在使用 Requests 進行下載時，只需要將 stream 設(shè)置 True，即可開啟流式傳輸，Requests 不會從服務(wù)器一次性將內(nèi)容全部下載到本地，而是根據(jù)需求分塊的從服務(wù)器獲取內(nèi)容，然后對內(nèi)容進行處理。

舉個例子：

import json
import requests

r = requests.get('https://httpbin.org/stream/20', stream=True)

for line in r.iter_lines():

    # filter out keep-alive new lines
    if line:
        decoded_line = line.decode('utf-8')
        print(json.loads(decoded_line))

給下載加上進度條

為了解決下載的時候沒有進度像是卡住的問題，可以在下載的時候加上進度條，并且分塊進行下載，而不是將數(shù)據(jù)全部放到內(nèi)存中，防止占用過大的內(nèi)存。

進度條我們使用tqdm 庫，tqdm 庫是一個功能強大且極具實用性的 Python 進度條工具，它能夠以直觀的可視化進度條形式清晰展示循環(huán)迭代、文件處理等各類任務(wù)的執(zhí)行進度，極大提升程序運行狀態(tài)的可視性與用戶體驗，廣泛應用于數(shù)據(jù)處理、機器學習訓練等眾多領(lǐng)域，方便開發(fā)者與使用者實時掌握任務(wù)進展情況并有效優(yōu)化程序運行流程。

先安裝：

poetry add tqdm
# 或者
pip install tqdm

安裝好后，對之前的下載代碼進行優(yōu)化，并且使用流式傳輸方法改造一下：

import requests
from tqdm import tqdm

total = 104857600  # 100M
url = f'https://speed.cloudflare.com/__down?during=download&bytes={total}'
res = requests.get(url, stream=True)
# 上面的 URL 是 cloudflare 的測試鏈接，可以傳入想要下載的長度，如果是正常的下載文件，需要通過下面的代碼來獲取總長度
# file_size = int(response.headers.get("Content - Length", 0))
print(total)
with open('test.file', 'wb') as file, tqdm(
        desc='test.file',
        total=total,
        unit='iB',
        unit_scale=True,
        unit_divisor=1024,
) as bar:
    for data in res.iter_content(chunk_size=1024):
        size = file.write(data)
        bar.update(size)

下載效果：