淺談Scrapy框架普通反爬蟲機(jī)制的應(yīng)對策略
簡單低級的爬蟲速度快,偽裝度低,如果沒有反爬機(jī)制,它們可以很快的抓取大量數(shù)據(jù),甚至因?yàn)檎埱筮^多,造成服務(wù)器不能正常工作。而偽裝度高的爬蟲爬取速度慢,對服務(wù)器造成的負(fù)擔(dān)也相對較小。
爬蟲與反爬蟲,這相愛相殺的一對,簡直可以寫出一部壯觀的斗爭史。而在大數(shù)據(jù)時(shí)代,數(shù)據(jù)就是金錢,很多企業(yè)都為自己的網(wǎng)站運(yùn)用了反爬蟲機(jī)制,防止網(wǎng)頁上的數(shù)據(jù)被爬蟲爬走。然而,如果反爬機(jī)制過于嚴(yán)格,可能會(huì)誤傷到真正的用戶請求;如果既要和爬蟲死磕,又要保證很低的誤傷率,那么又會(huì)加大研發(fā)的成本。
簡單低級的爬蟲速度快,偽裝度低,如果沒有反爬機(jī)制,它們可以很快的抓取大量數(shù)據(jù),甚至因?yàn)檎埱筮^多,造成服務(wù)器不能正常工作。而偽裝度高的爬蟲爬取速度慢,對服務(wù)器造成的負(fù)擔(dān)也相對較小。所以,網(wǎng)站反爬的重點(diǎn)也是那種簡單粗暴的爬蟲,反爬機(jī)制也會(huì)允許偽裝度高的爬蟲,獲得數(shù)據(jù)。畢竟偽裝度很高的爬蟲與真實(shí)用戶也就沒有太大差別了。
這篇文章主要討論使用Scrapy框架時(shí),如何應(yīng)對普通的反爬機(jī)制。
header檢驗(yàn)
最簡單的反爬機(jī)制,就是檢查HTTP請求的Headers信息,包括User-Agent,Referer、Cookies等。
User-Agent
User-Agent是檢查用戶所用客戶端的種類和版本,在Scrapy中,通常是在下載器中間件中進(jìn)行處理。比如在setting.py中建立一個(gè)包含很多瀏覽器User-Agent的列表,然后新建一個(gè)random_user_agent文件:
class RandomUserAgentMiddleware(object): @classmethod defprocess_request(cls, request, spider): ua = random.choice(spider.settings['USER_AGENT_LIST']) if ua: request.headers.setdefault('User-Agent', ua)
這樣就可以在每次請求中,隨機(jī)選取一個(gè)真實(shí)瀏覽器的User-Agent。
Referer
Referer是檢查此請求由哪里來,通常可以做圖片的盜鏈判斷。在Scrapy中,如果某個(gè)頁面url是通過之前爬取的頁面提取到,Scrapy會(huì)自動(dòng)把之前爬取的頁面url作為Referfer。也可以通過上面的方式自己定義Referfer字段。
Cookies
網(wǎng)站可能會(huì)檢測Cookie中session_id的使用次數(shù),如果超過限制,就觸發(fā)反爬策略。所以可以在Scrapy中設(shè)置COOKIES_ENABLED=False讓請求不帶Cookies。
也有網(wǎng)站強(qiáng)制開啟Cookis,這時(shí)就要麻煩一點(diǎn)了??梢粤韺懸粋€(gè)簡單的爬蟲,定時(shí)向目標(biāo)網(wǎng)站發(fā)送不帶Cookies的請求,提取響應(yīng)中Set-cookie字段信息并保存。爬取網(wǎng)頁時(shí),把存儲(chǔ)起來的Cookies帶入Headers中。
X-Forwarded-For
在請求頭中添加X-Forwarded-For字段,將自己申明為一個(gè)透明的代理服務(wù)器,一些網(wǎng)站對代理服務(wù)器會(huì)手軟一些。
X-Forwarded-For頭一般格式如下
X-Forwarded-For:client1,proxy1,proxy2
這里將client1,proxy1設(shè)置為隨機(jī)IP地址,把自己的請求偽裝成代理的隨機(jī)IP產(chǎn)生的請求。然而由于X-Forwarded-For可以隨意篡改,很多網(wǎng)站并不會(huì)信任這個(gè)值。
限制IP的請求數(shù)量
如果某一IP的請求速度過快,就觸發(fā)反爬機(jī)制。當(dāng)然可以通過放慢爬取速度繞過,這要以爬取時(shí)間大大增長為代價(jià)。另一種方法就是添加代理。
很簡單,在下載器中間件中添加:
request.meta['proxy'] = 'http://' + 'proxy_host' + ':' + proxy_port
然后再每次請求時(shí)使用不同的代理IP。然而問題是如何獲取大量的代理IP?
可以自己寫一個(gè)IP代理獲取和維護(hù)系統(tǒng),定時(shí)從各種披露免費(fèi)代理IP的網(wǎng)站爬取免費(fèi)IP代理,然后定時(shí)掃描這些IP和端口是否可用,將不可用的代理IP及時(shí)清理。這樣就有一個(gè)動(dòng)態(tài)的代理庫,每次請求再從庫中隨機(jī)選擇一個(gè)代理。然而這個(gè)方案的缺點(diǎn)也很明顯,開發(fā)代理獲取和維護(hù)系統(tǒng)本身就很費(fèi)時(shí)費(fèi)力,并且這種免費(fèi)代理的數(shù)量并不多,而且穩(wěn)定性都比較差。如果必須要用到代理,也可以去買一些穩(wěn)定的代理服務(wù)。這些服務(wù)大多會(huì)用到帶認(rèn)證的代理。
在requests庫中添加帶認(rèn)證的代理很簡單,
proxies = { "http": "http://user:pass@10.10.1.10:3128/", }
然而Scrapy不支持這種認(rèn)證方式,需要將認(rèn)證信息base64編碼后,加入Headers的Proxy-Authorization字段:
importbase64 # Set the location of the proxy proxy_string = choice(self._get_proxies_from_file('proxies.txt')) # user:pass@ip:port proxy_items = proxy_string.split('@') request.meta['proxy'] = "http://%s" % proxy_items[1] # setup basic authentication for the proxy user_pass=base64.encodestring(proxy_items[0]) request.headers['Proxy-Authorization'] = 'Basic ' + user_pass
動(dòng)態(tài)加載
現(xiàn)在越來越多的網(wǎng)站使用ajax動(dòng)態(tài)加載內(nèi)容,這時(shí)候可以先截取ajax請求分析一下,有可能根據(jù)ajax請求構(gòu)造出相應(yīng)的API請求的URL就可以直接獲取想要的內(nèi)容,通常是json格式,反而還不用去解析HTML。
然而,很多時(shí)候ajax請求都會(huì)經(jīng)過后端鑒權(quán),不能直接構(gòu)造URL獲取。這時(shí)就可以通過PhantomJS+Selenium模擬瀏覽器行為,抓取經(jīng)過js渲染后的頁面。
需要注意的是,使用Selenium后,請求不再由Scrapy的Downloader執(zhí)行,所以之前添加的請求頭等信息都會(huì)失效,需要在Selenium中重新添加
headers = {...} for key, valuein headers.iteritems(): webdriver.DesiredCapabilities.PHANTOMJS['phantomjs.page.customHeaders.{}'.format(key)] = value
另外,調(diào)用PhantomJs需要指定PhantomJs的可執(zhí)行文件路徑,通常是將該路徑添加到系統(tǒng)的path路徑,讓程序執(zhí)行時(shí)自動(dòng)去path中尋找。我們的爬蟲經(jīng)常會(huì)放到crontab中定時(shí)執(zhí)行,而crontab中的環(huán)境變量和系統(tǒng)的環(huán)境變量不同,所以就加載不到PhamtonJs需要的路徑,所以最好是在申明時(shí)指定路徑:
driver = webdriver.PhantomJS(executable_path='/usr/local/bin/phantomjs')
總結(jié)
以上就是本文關(guān)于淺談Scrapy框架普通反爬蟲機(jī)制的應(yīng)對策略的全部內(nèi)容,希望對大家有所幫助。感興趣的朋友可以繼續(xù)參閱本站:
Python登錄并獲取CSDN博客所有文章列表代碼實(shí)例
python編程實(shí)現(xiàn)12306的一個(gè)小爬蟲實(shí)例
如有不足之處,歡迎留言指出。感謝朋友們對本站的支持!
相關(guān)文章
在python中,使用scatter繪制散點(diǎn)圖的實(shí)例
今天小編就為大家分享一篇在python中,使用scatter繪制散點(diǎn)圖的實(shí)例,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07Python中pandas dataframe刪除一行或一列:drop函數(shù)詳解
今天小編就為大家分享一篇Python中pandas dataframe刪除一行或一列:drop函數(shù)詳解,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07python實(shí)現(xiàn)MongoDB的雙活示例
本文主要介紹了python實(shí)現(xiàn)MongoDB的雙活示例,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02Python+Django實(shí)現(xiàn)簡單HelloWord網(wǎng)頁的示例代碼
本文主要介紹了Python+Django實(shí)現(xiàn)簡單HelloWord網(wǎng)頁的示例代碼,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2022-04-04細(xì)數(shù)nn.BCELoss與nn.CrossEntropyLoss的區(qū)別
今天小編就為大家整理了一篇細(xì)數(shù)nn.BCELoss與nn.CrossEntropyLoss的區(qū)別,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02關(guān)于Python中的海象運(yùn)算符使用方法詳解
這篇文章主要介紹了關(guān)于Python中的海象運(yùn)算符“:=”使用方法詳解,海象運(yùn)算符(walrus?operator)是?Python?3.8?中引入的一種新的語法,需要的朋友可以參考下2023-04-04Python實(shí)現(xiàn)內(nèi)存泄露排查的示例詳解
一般在python代碼塊的調(diào)試過程中會(huì)使用memory-profiler、filprofiler、objgraph等三種方式進(jìn)行輔助分析,今天這里主要介紹使用objgraph對象提供的函數(shù)接口來進(jìn)行內(nèi)存泄露的分析,感興趣的可以了解一下2023-01-01Python 多進(jìn)程并發(fā)操作中進(jìn)程池Pool的實(shí)例
下面小編就為大家?guī)硪黄狿ython 多進(jìn)程并發(fā)操作中進(jìn)程池Pool的實(shí)例。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-11-11Python實(shí)現(xiàn)郵件自動(dòng)下載的示例詳解
這篇文章主要為大家詳細(xì)介紹了如何利用Python語言實(shí)現(xiàn)郵件自動(dòng)下載以及附件解析功能,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以了解一下2022-07-07