Python爬蟲實現(xiàn)爬取下載網(wǎng)站數(shù)據(jù)的幾種方法示例
引言
使用腳本進行下載的需求很常見，可以是常規(guī)文件、web頁面、Amazon S3和其他資源。Python 提供了很多模塊從 web 下載文件。下面介紹
一、使用 requests
requests 模塊是模仿網(wǎng)頁請求的形式從一個URL下載文件
示例代碼：
import requests
url = 'xxxxxxxx' # 目標下載鏈接
r = requests.get(url) # 發(fā)送請求
# 保存
with open ('r.txt', 'rb') as f:
f.write(r.content)
f.close二、使用 wget
安裝 wget 庫
pip install wget
示例代碼
import wget url = 'https://pic.cnblogs.com/avatar/1197773/20170712160655.png' # 目標路由，下載的資源是圖片 path = 'D:/x.png' # 保存的路徑 wget.download(url, path) # 下載
三、下載重定向資源
有些 URL 會被重定向到另一個 URL，后者是真正的下載鏈接。很多軟件的下載其實都是這樣的形式。
URL看起來如下https://readthedocs.org/projects/python-guide/downloads/pdf/latest
重定向的 URL 也可以用 requests 庫進行下載，只需加一個參數(shù)就可以
import requests
url = 'https://readthedocs.org/projects/python-guide/downloads/pdf/latest'
# allow_redirect參數(shù)True表示允許重定向
r = requests.get(url, allow_redirect=True)
with open('r.txt', 'wb') as f:
f.write(r)
f.close()四、大文件分塊下載
有些文件非常的大，如果我們直接下載，可能會因為事件原因或者網(wǎng)絡(luò)原因造成下載失敗，這時候我可以使用分塊下載的形式進行下載。
requests 支持分塊下載，只需要將 stream 設(shè)為True 即可
import requests
url = 'https://readthedocs.org/projects/python-guide/downloads/pdf/latest'
# stream參數(shù)True表示分塊下載
r = requests.get(url, stream=True)
with open('r.txt', 'wb') as f:
for ch in r:
f.write(r)
f.close()五、并行下載
多線程、多進程并發(fā)下載，大大提高下載速度
import requests
from multiprocessing.poll import Pool
# 定義下載函數(shù)
def url_response(url):
path, url = url
r = requests.get(url, stream=True)
with open(path, 'wb') as f:
for ch in r:
f.write(ch)
f.close()
urls = ['aaa', 'bbb', 'ccc'] # 假設(shè)有好多個下載鏈接
# 排隊下載的方式
for x in urls:
url_response(x)
# 并行下載的方式
ThreadPool(3).imap_unordered(url_response, urls)六、下載中加入進度條
使用進度條更直觀的查看下載進度，這里使用 clint 模塊實現(xiàn)進度條功能
pip install clint
下載
import requests
from clint.textui import progess
url = 'xxxxxxxxxxx'
r = requests.get(url, stream=True)
with open('x.txt', 'wb') as f
total_length = int(r.headers.get('content-length'))
for ch in progress.bar(r.iter_content(chunk_size=2391975, expected)size=(total_length/1024)+1)):
if ch:
f.write(ch)
f.close()七、使用 urllib 模塊下載
urllib庫是Python的標準庫，因此不需要安裝它。
下載代碼
urllib.request.urlretrieve(URL, PATH)
八、通過代理下載
因為一些眾所周知的原因我們下載國外的資源會非常的慢，這時候可以使用代理的方式進行下載
requests 模塊使用代理
import requests
# 定義代理，假設(shè)本機上有個梯子的服務(wù)，代理端口是2258
proxy = {'http': 'http://127.0.0.1:2258'}
url = 'xxxxxx'
r = requests.get(url, proxies=proxy )
.......urllib 模塊使用代理
import urllib.request
#Python小白學(xué)習(xí)交流群：153708845
url = 'xxxxxxxxxx'
proxy = urllib.request.ProxyHandler({'http': '127.0.0.1'})
open_proxy = urllib.request.build_opener(proxy ) # 打開代理
urllib.request.urlretrieve(url)九、使用 urllib3
urllib3 是 urllib 模塊的改進版本。使用pip下載并安裝
pip install urllib3
以上就是Python爬蟲實現(xiàn)爬取下載網(wǎng)站數(shù)據(jù)的幾種方法示例的詳細內(nèi)容，更多關(guān)于Python爬取下載網(wǎng)站數(shù)據(jù)的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
PyQt5 實現(xiàn)給無邊框widget窗口添加背景圖片
這篇文章主要介紹了PyQt5 實現(xiàn)給無邊框widget窗口添加背景圖片的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03
這篇文章主要介紹了Python自定義裝飾器原理與用法,結(jié)合實例形式較為詳細的分析了Python自定義裝飾器,帶參數(shù)的裝飾器等概念、原理、實現(xiàn)方法及相關(guān)使用技巧,需要的朋友可以參考下2018-07-07
Python中實現(xiàn)遠程調(diào)用（RPC、RMI）簡單例子
說白了，遠程調(diào)用就是將對象名、函數(shù)名、參數(shù)等傳遞給遠程服務(wù)器，服務(wù)器將處理結(jié)果返回給客戶端2014-04-04
這篇文章主要給大家介紹了關(guān)于python如何使用opencv提取光流的相關(guān)資料,文中通過圖文以及實例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2022-09-09
這篇文章主要介紹了詳解?python?logging日志模塊，記錄日志最簡單的方法就是在你想要記錄的地方加上一句?print?，?我相信無論是新手還是老鳥都經(jīng)常這么干。在簡單的代碼中或者小型項目中這么干一點問題都沒有,需要的朋友可以參考下2022-01-01
Python實現(xiàn)的徑向基（RBF）神經(jīng)網(wǎng)絡(luò)示例
這篇文章主要介紹了Python實現(xiàn)的徑向基（RBF）神經(jīng)網(wǎng)絡(luò),結(jié)合完整實例形式分析了Python徑向基（RBF）神經(jīng)網(wǎng)絡(luò)定義與實現(xiàn)技巧,需要的朋友可以參考下2018-02-02
這篇文章主要介紹了Python 列表的索引取值,本節(jié)重點掌握多次索引取值的語法：列表[索引][索引]，結(jié)合示例代碼給大家介紹的非常詳細，需要的朋友可以參考下2022-09-09
下面小編就為大家分享一篇python讀取文件名稱生成list的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
Python抓取聚劃算商品分析頁面獲取商品信息并以XML格式保存到本地
這篇文章主要為大家詳細介紹了Python抓取聚劃算商品分析頁面獲取商品信息，并以XML格式保存到本地的方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-02-02
當(dāng)我們處理數(shù)據(jù)時,有時候需要創(chuàng)建多個列表以存儲不同類型或不同條件下的數(shù)據(jù),在Python中,我們可以利用循環(huán)來快速、高效地創(chuàng)建這些列表,本文將介紹如何使用循環(huán)在Python中創(chuàng)建多個列表,并提供代碼實例,需要的朋友可以參考下2024-04-04