python爬蟲快速響應(yīng)服務(wù)器的做法
不論是打開網(wǎng)頁或者爬取一些資料的時(shí)候，我們想要的是計(jì)算機(jī)能在最短的時(shí)間內(nèi)運(yùn)行出結(jié)果，不然等待的時(shí)間過長會(huì)影響下一步工作的計(jì)劃。這時(shí)候我們可以給計(jì)算機(jī)一個(gè)指令，限制最久能等待的時(shí)間，在我們能接受的時(shí)間內(nèi)運(yùn)行出結(jié)果。那么這個(gè)指令方法是什么呢？接下來我們一起看看吧。
requests之所以稱為“HTTP for human”，因?yàn)槠浞庋b層次很高，其中一處體現(xiàn)就在：requests會(huì)自動(dòng)處理服務(wù)器響應(yīng)的重定向。我在做搜狗微信公眾號(hào)抓取的時(shí)候，搜狗搜索列表頁面的公眾號(hào)文章地址，其實(shí)不是微信的地址而需要請(qǐng)求到搜狗到服務(wù)器做重定向，而requests的默認(rèn)處理則是將整個(gè)過程全部搞定，對(duì)此可以這樣：
In [1]: r = requests.get('http://xlzd.me', allow_redirects=False)
allow_redirects參數(shù)為False則表示不會(huì)主動(dòng)重定向。
另外，有時(shí)候?qū)Ψ骄W(wǎng)站的響應(yīng)時(shí)間太長了，我們希望在指定時(shí)間內(nèi)完事，或者直接停止這個(gè)請(qǐng)求，這時(shí)候的做法是：
In [1]: r = requests.get('http://xlzd.me', timeout＝3)
timeout表示這次請(qǐng)求最長我最長只等待多少秒
拓展：
為requests套上一層代理的做法也非常簡單：
import requests
proxies = {
"http": "http://192.168.31.1:3128",
"https": "http://10.10.1.10:1080",
}
requests.get("http://xlzd.me", proxies=proxies)
到此這篇關(guān)于python爬蟲快速響應(yīng)服務(wù)器的做法的文章就介紹到這了,更多相關(guān)python爬蟲中如何快速響應(yīng)服務(wù)器內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Python 兩個(gè)列表的差集、并集和交集實(shí)現(xiàn)代碼
這篇文章主要介紹了Python 兩個(gè)列表的差集、并集和交集實(shí)現(xiàn)代碼,需要的朋友可以參考下2016-09-09
python如果快速判斷數(shù)字奇數(shù)偶數(shù)
這篇文章主要介紹了python如果快速判斷數(shù)字奇數(shù)偶數(shù),文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-11-11
python初學(xué)者，用python實(shí)現(xiàn)基本的學(xué)生管理系統(tǒng)（python3）代碼實(shí)例
這篇文章主要介紹了用python實(shí)現(xiàn)學(xué)生管理系統(tǒng)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04
這篇文章主要介紹了使用Python實(shí)現(xiàn)跳幀截取視頻幀，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-05-05
Python?正則表達(dá)式基礎(chǔ)知識(shí)點(diǎn)及實(shí)例
在本篇文章里小編給大家整理了關(guān)于Python正則表達(dá)式的一些基礎(chǔ)知識(shí)點(diǎn)以及相關(guān)用法實(shí)例內(nèi)容，需要的朋友們可以參考下。2021-12-12
Python數(shù)據(jù)可視化繪圖實(shí)例詳解
數(shù)據(jù)可視化是指用圖形或表格的方式來呈現(xiàn)數(shù)據(jù)。圖表能夠清楚地呈現(xiàn)數(shù)據(jù)性質(zhì)， 以及數(shù)據(jù)間或?qū)傩蚤g的關(guān)系。本文為大家分享了幾個(gè)Python數(shù)據(jù)可視化繪圖的實(shí)例，感興趣的可以了解一下2022-05-05
這篇文章主要介紹了Numpy 理解ndarray對(duì)象的示例代碼，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
Python 實(shí)現(xiàn)將某一列設(shè)置為str類型
這篇文章主要介紹了Python 實(shí)現(xiàn)將某一列設(shè)置為str類型，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-07-07
unittest+coverage單元測(cè)試代碼覆蓋操作實(shí)例詳解
這篇文章主要為大家詳細(xì)介紹了unittest+coverage單元測(cè)試代碼覆蓋操作的實(shí)例，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-04-04
python中(負(fù)數(shù))整除和取模運(yùn)算方式
Python中的取模運(yùn)算符是%,它與其他語言中的取余符號(hào)相同,整除運(yùn)算符是//,表示向下取整,在Python中,正數(shù)的取余和取模結(jié)果相同,但負(fù)數(shù)的取余和取模結(jié)果有所不同,取余運(yùn)算在計(jì)算時(shí)向0方向舍棄小數(shù)位,而取模運(yùn)算向負(fù)無窮方向舍棄小數(shù)位2024-10-10