快捷導(dǎo)航

Python進度條神器tqdm使用實例詳解

更新時間：2023年06月05日 08:18:55 作者：落陽呀

Python進度條神器tqdm是一個快速、可擴展的進度條工具，可以輕松地為Python腳本添加進度條。它可以在循環(huán)中自動計算進度，并在終端中顯示進度條，讓用戶了解程序的運行情況。tqdm還支持多線程和多進程，并且可以自定義進度條的樣式和顯示方式。

讓我們想象一下，你正在運行一個耗時的數(shù)據(jù)處理任務(wù)或者訓(xùn)練一個復(fù)雜的深度學(xué)習(xí)模型。你坐在那里，盯著屏幕，焦急地等待程序完成。這種等待的痛苦，我想你我都有切身體會。這時候，有個可視化的進度條會不會讓你感覺好很多呢？這就是我們今天要推薦的 tqdm 庫的功能。

tqdm 是一個 Python 快速、可擴展的進度條工具庫，它有很多優(yōu)點：

易于使用：只需在 Python 循環(huán)中包裹你的迭代器，一行代碼就能產(chǎn)生一個精美的進度條。

靈活：它可以和 for 循環(huán)、pandas dataframe的 apply 函數(shù)以及 Python 的 map 函數(shù)等等配合使用。

高效：tqdm 使用了智能算法，即使在數(shù)據(jù)流非?？斓那闆r下，也不會拖慢你的代碼速度。

讓我們看一下 tqdm 在機器學(xué)習(xí)任務(wù)中的應(yīng)用示例：

from tqdm import tqdm
import time
for i in tqdm(range(100)):
    # 假設(shè)我們正在進行一些耗時的操作，比如訓(xùn)練深度學(xué)習(xí)模型
    time.sleep(0.01)

運行這段代碼，你會看到一個動態(tài)更新的進度條。tqdm 會告訴你還有多少項需要處理，預(yù)計剩余時間，以及當前的處理速度。

你會看到一個動態(tài)更新的進度條。tqdm 會告訴你還有多少項需要處理，預(yù)計剩余時間，以及當前的處理速度。

100%|██████████| 100/100 [00:01<00:00, 97.31it/s]

我們繼續(xù)深入到 tqdm 的更多使用場景和用法。

01

你是否曾在下載大文件時，想要知道下載的進度呢？tqdm 可以很好地滿足你的需求?？纯聪旅娴拇a：

import requests
from tqdm import tqdm
response = requests.get(url, stream=True)  # 把stream參數(shù)設(shè)置為True
file_size = int(response.headers['Content-Length'])
chunk = 1
chunk_size = 1024
num_bars = int(file_size / chunk_size)
with open(filename, 'wb') as fp:
    for chunk in tqdm(response.iter_content(chunk_size=chunk_size), total=num_bars, unit='KB', desc=filename, leave=True): 
        fp.write(chunk)

在上面的代碼中，我們首先獲取到要下載文件的大小。然后，我們在 tqdm 中設(shè)置總的進度條數(shù)目為文件大小除以每個進度條代表的字節(jié)數(shù)。這樣，當我們下載每一個字節(jié)塊并寫入文件時，tqdm 就會自動更新進度條。

02

在機器學(xué)習(xí)中，我們經(jīng)常需要對大規(guī)模的數(shù)據(jù)進行預(yù)處理。使用 tqdm，我們可以很直觀地看到數(shù)據(jù)預(yù)處理的進度。

import pandas as pd
from tqdm import tqdm
tqdm.pandas()
# 假設(shè)我們有一個大的 dataframe，我們想要對其 'text' 列進行一些預(yù)處理
df['processed_text'] = df['text'].progress_apply(lambda x: preprocess(x))

在上面的代碼中，我們首先通過 tqdm.pandas() 方法對pandas 進行 patch。然后，我們就可以在 pandas 的 apply 方法中使用 progress_apply，這樣就可以在數(shù)據(jù)處理的同時顯示進度條。

03

在訓(xùn)練深度學(xué)習(xí)模型時，我們經(jīng)常需要迭代大量的 epochs。使用 tqdm，我們可以清晰地看到模型訓(xùn)練的進度。

from tqdm import tqdm
# 假設(shè)我們有一個訓(xùn)練數(shù)據(jù)集 train_dataloader 和一個模型 model
for epoch in range(num_epochs):
    epoch_iterator 
= tqdm(train_dataloader, desc=
"Training (Epoch %d)"
 % epoch)
    
    for step, batch in enumerate(epoch_iterator):
        # 模型訓(xùn)練的代碼
        # ...

04

在許多情況下，我們的代碼可能包含嵌套循環(huán)。在這種情況下，我們可以使用 tqdm 創(chuàng)建多個進度條。

from tqdm import tqdm
import time
for i in tqdm(range(100), desc="Outer loop"):
    for j in tqdm(range(10), desc="Inner loop", leave=False):
        # 執(zhí)行一些耗時的操作
        time.sleep(0.01)

在這段代碼中，我們創(chuàng)建了兩個進度條，一個用于外部循環(huán)，一個用于內(nèi)部循環(huán)。leave=False 選項將在內(nèi)部循環(huán)結(jié)束后刪除內(nèi)部循環(huán)的進度條。

05

有時候，我們可能需要手動更新進度條。例如，當我們在下載文件或處理批量數(shù)據(jù)時，我們可能一次處理多個項目。在這種情況下，我們可以使用 update 方法。

from tqdm import tqdm
import time
with tqdm(total=100) as pbar:
    for i in range(10):
        # 執(zhí)行一些耗時的操作
        time.sleep(0.1)
        pbar.update(10)

在這段代碼中，我們首先創(chuàng)建了一個進度條，然后在循環(huán)中使用 update 方法手動更新進度條的值。