關(guān)于Python下載大文件時哪種方式速度更快
更新時間：2023年04月10日 10:18:05 作者：程序員老華
這篇文章主要介紹了關(guān)于Python下載大文件時哪種方式速度更快,通常，我們都會用 requests 庫去下載，這個庫用起來太方便了,需要的朋友可以參考下
方法一
使用以下流式代碼，無論下載文件的大小如何，Python 內(nèi)存占用都不會增加：
def download_file(url):
local_filename = url.split('/')[-1]
# 注意傳入?yún)?shù) stream=True
with requests.get(url, stream=True) as r:
r.raise_for_status()
with open(local_filename, 'wb') as f:
for chunk in r.iter_content(chunk_size=8192):
f.write(chunk)
return local_filename如果你有對 chunk 編碼的需求，那就不該傳入 chunk_size 參數(shù)，且應(yīng)該有 if 判斷。
def download_file(url):
local_filename = url.split('/')[-1]
# 注意傳入?yún)?shù) stream=True
with requests.get(url, stream=True) as r:
r.raise_for_status()
with open(local_filename, 'w') as f:
for chunk in r.iter_content():
if chunk:
f.write(chunk.decode("utf-8"))
return local_filenameiter_content [1] 函數(shù)本身也可以解碼，只需要傳入?yún)?shù) decode_unicode = True 即可。
請注意，使用 iter_content 返回的字節(jié)數(shù)并不完全是 chunk_size，它是一個通常更大的隨機數(shù)，并且預計在每次迭代中都會有所不同。
方法二
使用 Response.raw 和 shutil.copyfileobj
import requests
import shutil
def download_file(url):
local_filename = url.split('/')[-1]
with requests.get(url, stream=True) as r:
with open(local_filename, 'wb') as f:
shutil.copyfileobj(r.raw, f)
return local_filename這將文件流式傳輸?shù)酱疟P而不使用過多的內(nèi)存，并且代碼更簡單。
注意：根據(jù)文檔，Response.raw 不會解碼，因此如果需要可以手動替換 r.raw.read 方法
response.raw.read = functools.partial(response.raw.read, decode_content=True)
速度
方法二更快。方法一如果 2-3 MB/s 的話，方法二可以達到近 40 MB/s。
到此這篇關(guān)于關(guān)于Python下載大文件時哪種方式速度更快的文章就介紹到這了,更多相關(guān)Python下載大文件方式內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了基于python?的Pygame最小開發(fā)框架，文章基于python的相關(guān)資料圍繞主題展開詳細內(nèi)容需要的小伙伴可以參考一下2022-04-04
ImageKit是一個用于處理圖像的Django應(yīng)用程序。這篇文章主要介紹了Django-imagekit的使用,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-07-07
這篇文章主要介紹了python生成隨機密碼或隨機字符串的方法,涉及Python字符串及隨機數(shù)的相關(guān)使用技巧,非常簡單實用,需要的朋友可以參考下2015-07-07
Python爬蟲實例之2021貓眼票房字體加密反爬策略(粗略版)
這篇文章主要介紹了Python爬蟲實例之2021貓眼票房字體加密反爬策略(粗略版),本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-02-02
Pytorch中的modle.train,model.eval,with torch.no_grad解讀
這篇文章主要介紹了Pytorch中的modle.train,model.eval,with torch.no_grad解讀，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-12-12
本文主要介紹了pycharm中執(zhí)行.sh文件的方法步驟，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-02-02
本文主要介紹了Python對FTP交互封裝的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2022-06-06
PyQt5實現(xiàn)數(shù)據(jù)的增刪改查功能詳解
這篇文章主要為大家介紹了如何使用Python中的PyQt5模塊來實現(xiàn)數(shù)據(jù)的增、刪、改、查功能，文中示例代碼講解詳細，感興趣的小伙伴可以了解一下2022-03-03
Python利用watchdog模塊監(jiān)控文件變化
這篇文章主要為大家介紹一個Python中的模塊：watchdog模塊，它可以實現(xiàn)監(jiān)控文件的變化。文中通過示例詳細介紹了watchdog模塊的使用，需要的可以參考一下2022-06-06
這篇文章主要介紹了python-字典dict和集合set,字典是python中的一種數(shù)據(jù)結(jié)構(gòu)。集合(set)與字典相同均存儲key，但只存儲key，key不可重復，所以set中的值不可重復，而且是無序，下面來看看更多相關(guān)內(nèi)容吧2021-12-12