詳解selenium + chromedriver 被反爬的解決方法
問題背景：這個問題是在爬取某夕夕商城遇到的問題，原本的方案是用selenium + chromedriver + mitmproxy開心的刷，但是幾天之后，發(fā)現(xiàn)刷不出來了，會直接跳轉(zhuǎn)到登陸界面（很明顯，是遭遇反爬了）
講實話，這還是第一次用硒被反爬的，于是進行大規(guī)模的測試對比。
同臺機器，用鉻瀏覽器正常訪問是不用跳轉(zhuǎn)到登陸界面的，所以不是IP的問題。再用提琴手抓包對比了一下兩個請求頭，請求頭都是一樣的，所以忽略標(biāo)頭的反爬。
最后通過分析，可能是硒被檢測出來了。于是就去查資料。大概的查到是和webdriver的有關(guān)系的。因為這個在服務(wù)端是可以檢測到的。于是通過fiddler抓包，全局搜索了一下webdriver，發(fā)現(xiàn)在js中果然是有判斷的。導(dǎo)致selenium爬取的時候，被轉(zhuǎn)到登陸界面。
解決方法：mitmproxy
因為mitmproxy可以攔截請求，所以在響應(yīng)中，將包含的webdriver的JS中的關(guān)鍵字替換成其他的字符就可以了。
if "/_next/static/js/common_pdd" in flow.request.url:
flow.response.text = flow.response.text.replace("webdriver", "userAgent")
我是這樣替換的。這樣js解析的參數(shù)就變了，問題花刃而解?？梢哉Ｅ廊?shù)據(jù)了。
另外國外網(wǎng)上也有很多方法，比如修改webdriver里的一些特定參數(shù)名稱，我嘗試了一下，沒有生效。
到此這篇關(guān)于詳解selenium + chromedriver 被反爬的解決方法的文章就介紹到這了,更多相關(guān)selenium chromedriver反爬內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
- python+selenium+chromedriver實現(xiàn)爬蟲示例代碼
- selenium+chromedriver在服務(wù)器運行的詳細教程
- 使用selenium自動控制瀏覽器找不到Chromedriver問題
- 下載與當(dāng)前Chrome對應(yīng)的chromedriver.exe(用于python+selenium)
- python selenium 執(zhí)行完畢關(guān)閉chromedriver進程示例
- selenium + ChromeDriver安裝及使用方法
- selenium 安裝與chromedriver安裝的方法步驟
- selenium使用chrome瀏覽器測試（附chromedriver與chrome的對應(yīng)關(guān)系表）
相關(guān)文章
這篇文章主要介紹了在Flask使用TensorFlow的幾個常見錯誤及解決,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-01-01
隨機密碼生成器是一種非常有用的工具,它可以幫助我們生成隨機的、復(fù)雜的密碼,提高我們的賬戶安全性,本文就來介紹一下python 隨機密碼生成器的實現(xiàn)示例,感興趣的可以了解一下2023-11-11
Python使用Gradio實現(xiàn)免費的內(nèi)網(wǎng)穿透
內(nèi)網(wǎng)穿透是一種將內(nèi)部網(wǎng)絡(luò)服務(wù)暴露到公共網(wǎng)絡(luò)的技術(shù),可以讓外部用戶訪問內(nèi)部網(wǎng)絡(luò)上的服務(wù),本文將介紹如何使用Gradio實現(xiàn)免費的內(nèi)網(wǎng)穿透,需要的可以參考下2024-03-03
這篇文章主要介紹了使用C++擴展Python的功能詳解，具有一定借鑒價值,需要的朋友可以參考下2018-01-01
Python+OpenCV實現(xiàn)圖像識別替換功能詳解
OpenCV-Python是一個Python庫，旨在解決計算機視覺問題。本文將利用Python+OpenCV實現(xiàn)圖像識別替換功能，感興趣的小伙伴可以動手嘗試一下2022-07-07
這篇文章主要介紹了在Python中使用PIL模塊處理圖像的教程,PIL模塊在Python編程中也是十分常用的模塊,示例代碼基于Python2.x版本,需要的朋友可以參考下2015-04-04
ttk是Python中的一個模塊，它提供了一組用于創(chuàng)建GUI界面的工具和控件，這些控件包括按鈕、標(biāo)簽、文本框等，可以幫助開發(fā)者更方便地創(chuàng)建用戶界面，這篇文章主要介紹了使用python實現(xiàn)下拉選擇框和頁簽的方法,需要的朋友可以參考下2023-03-03
在日常生活中經(jīng)常有需要調(diào)整圖片大小的需求，一張兩張的還好，但是如果需要幾十張幾百張甚至幾千張，就可以考慮使用Python腳本來執(zhí)行了，下面小編就來和大家分享幾個Python可以批量修改圖片大小的腳本吧2023-07-07
這篇文章主要介紹了python?selenium模擬點擊問題，涉及到安裝谷歌瀏覽器和瀏覽器驅(qū)動的相關(guān)知識介紹，本文結(jié)合實例代碼給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2022-05-05
這篇文章主要介紹了Python編程之多態(tài)用法,以實例形式詳細分析了Python中多態(tài)的使用技巧,需要的朋友可以參考下2015-05-05