Python常見反爬蟲機(jī)制解決方案
1、使用代理
適用情況：限制IP地址情況，也可解決由于“頻繁點(diǎn)擊”而需要輸入驗(yàn)證碼登陸的情況。
這種情況最好的辦法就是維護(hù)一個(gè)代理IP池，網(wǎng)上有很多免費(fèi)的代理IP，良莠不齊，可以通過篩選找到能用的。對(duì)于“頻繁點(diǎn)擊”的情況，我們還可以通過限制爬蟲訪問網(wǎng)站的頻率來避免被網(wǎng)站禁掉。
proxies = {'http':'http://XX.XX.XX.XX:XXXX'}
Requests：
import requests
response = requests.get(url=url, proxies=proxies)
Urllib2：
import urllib2
proxy_support = urllib2.ProxyHandler(proxies)
opener = urllib2.build_opener(proxy_support, urllib2.HTTPHandler)
urllib2.install_opener(opener) # 安裝opener，此后調(diào)用urlopen()時(shí)都會(huì)使用安裝過的opener對(duì)象
response = urllib2.urlopen(url)
2、時(shí)間設(shè)置
適用情況：限制頻率情況。
Requests，Urllib2都可以使用time庫的sleep()函數(shù)：
import time
time.sleep(1)
3、偽裝成瀏覽器，或者反“反盜鏈”
有些網(wǎng)站會(huì)檢查你是不是真的瀏覽器訪問，還是機(jī)器自動(dòng)訪問的。這種情況，加上User-Agent，表明你是瀏覽器訪問即可。有時(shí)還
會(huì)檢查是否帶Referer信息還會(huì)檢查你的Referer是否合法，一般再加上Referer。
headers = {'User-Agent':'XXXXX'} # 偽裝成瀏覽器訪問，適用于拒絕爬蟲的網(wǎng)站
headers = {'Referer':'XXXXX'}
headers = {'User-Agent':'XXXXX', 'Referer':'XXXXX'}
Requests：
response = requests.get(url=url, headers=headers)
Urllib2：
import urllib, urllib2
req = urllib2.Request(url=url, headers=headers)
response = urllib2.urlopen(req)
以上就是本文的全部內(nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
python實(shí)現(xiàn)校園網(wǎng)自動(dòng)登錄的示例講解
下面小編就為大家分享一篇python實(shí)現(xiàn)校園網(wǎng)自動(dòng)登錄的示例講解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-04-04
這篇文章主要介紹了Python實(shí)現(xiàn)最常見加密方式詳解,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07
python之線程通過信號(hào)pyqtSignal刷新ui的方法
今天小編就為大家分享一篇python之線程通過信號(hào)pyqtSignal刷新ui的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-01-01
python-opencv-cv2.threshold()二值化函數(shù)的使用
這篇文章主要介紹了python-opencv-cv2.threshold()二值化函數(shù)的使用，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-11-11
利用Python探測(cè)附近WIFI密碼的詳細(xì)代碼
這篇文章主要介紹了利用Python探測(cè)附近WIFI密碼,基于python腳本實(shí)現(xiàn)wifi密碼的暴力破解從而實(shí)現(xiàn)免費(fèi)蹭網(wǎng)，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，需要的朋友參考下吧2022-01-01
這篇文章主要介紹了在SAE上部署Python的Django框架的一些問題匯總,SAE是新浪的一個(gè)在線APP部署平臺(tái),并且對(duì)Python應(yīng)用提供相關(guān)支持,需要的朋友可以參考下2015-05-05
這篇文章主要為大家介紹了OpenCV?光流Optical?Flow示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-04-04
這篇文章主要介紹了Python Flask框架模板操作,結(jié)合實(shí)例形式較為詳細(xì)的分析了Python Flask框架使用Jinja2模板步驟及相關(guān)操作技巧,需要的朋友可以參考下2019-05-05
零基礎(chǔ)寫python爬蟲之使用Scrapy框架編寫爬蟲
前面的文章我們介紹了Python爬蟲框架Scrapy的安裝與配置等基本資料，本文我們就來看看如何使用Scrapy框架方便快捷的抓取一個(gè)網(wǎng)站的內(nèi)容，隨便選個(gè)小站（dmoz.org）來示例吧2014-11-11
關(guān)于python tushare Tkinter構(gòu)建的簡單股票可視化查詢系統(tǒng)（Beta v0.13）
這篇文章主要介紹了python tushare Tkinter構(gòu)建的簡單股票可視化查詢系統(tǒng)（Beta v0.13）,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-10-10