selenium執(zhí)行js并繞過webdriver監(jiān)測常見方法
selenium執(zhí)行js
優(yōu)點:直接調(diào)用瀏覽器的環(huán)境
障礙:繞過selenium監(jiān)測
原理:
# 執(zhí)行js代碼 bro.execute_script('js代碼')
常見的selenium監(jiān)測手段
正常登錄 window.navigator.webdriver == undefined
自動化的 window.navigator.webdriver == true
除此之外,還有一些其它的標志性字符串(不同的瀏覽器可能會有所不同),常見的特征串如下所示:
webdriver __driver_evaluate __webdriver_evaluate __selenium_evaluate __fxdriver_evaluate __driver_unwrapped __webdriver_unwrapped __selenium_unwrapped __fxdriver_unwrapped _Selenium_IDE_Recorder _selenium calledSelenium _WEBDRIVER_ELEM_CACHE ChromeDriverw driver-evaluate webdriver-evaluate selenium-evaluate webdriverCommand webdriver-evaluate-response __webdriverFunc __webdriver_script_fn __$webdriverAsyncExecutor __lastWatirAlert __lastWatirConfirm __lastWatirPrompt $chrome_asyncScriptInfo $cdc_asdjflasutopfhvcZLmcfl_
了解了這個特點之后,就可以在瀏覽器客戶端JS中通過檢測這些特征串來判斷當前是否使用了selenium,并將檢測結果附加到后續(xù)請求之中,這樣服務端就能識別并攔截后續(xù)的請求。
常用繞過selenium監(jiān)測1
正常登錄 window.navigator.webdriver == undefined
自動化的 window.navigator.webdriver == true
from selenium import webdriver options = webdriver.ChromeOptions() # 此步驟很重要,設置為開發(fā)者模式,防止被各大網(wǎng)站識別出來使用了Selenium options.add_experimental_option('excludeSwitches', ['enable-automation']) #停止加載圖片 options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2}) browser = webdriver.Chrome(options=options) browser.get('https://www.taobao.com/')
常用繞過selenium監(jiān)測2
from selenium import webdriver chrome_options = webdriver.ChromeOptions() chrome_options.add_experimental_option('debuggerAddress','127.0.0.1:9222') browser=webdriver.Chrome(executable_path=r'C:\Users\TR\AppData\Local\Google\Chrome \Application\chromedriver.exe',chrome_options=chrome_options) browser.get('http://www.zhihu.com')
終端輸入如下指令:chrome.exe --remote-debugging-port=9222 --user-data-dir=“D:\cdsf”(需要谷歌驅動在系統(tǒng)環(huán)境變量下,然后再運行程序)
remote-debugging-port是你代碼中指定的端口debuggerAddress;executable_path是你谷歌驅動位置;user-data-dir隨便指定一個目錄就行
常用繞過selenium監(jiān)測3
1.使用chrome的遠程調(diào)試模式結合selenium來遙控chrome進行抓取,這樣不會攜帶指紋信息
步驟:
- 使用調(diào)試模式手工啟動chrome,進入chrome的安裝路徑,例如chrome裝在 C:\program\google\chrome.exe下
- 進入chrome安裝路徑
- 執(zhí)行命令:
#注意端口不要被占用,防火墻要關閉,user-data-dir用來指明配置文件的路徑
chrome.exe --remote-debugging-port=9222 --user-data-dir="指向任意空文件夾"
2.啟動完·之后新建python文件
運行代碼:
import requests from selenium import webdriver chrome_options = "C:\Users\Administrator\AppData\Local\Google\Chrome\Application\chrome.exe" chrome_options = webdriver.ChromeOptions() chrome_options.add_experimental_option('debuggerAddress','10.8.13.95:9222') browser = webdriver.Chrome(chrome_options=chrome_options) browser.get("https://www.zhihu.com/signup?next=%2F") # chrome.exe --remote-debugging-port=9222 --user-data-dir="D:\moni"
這樣監(jiān)測的就不是selenium模擬了
常用繞過selenium監(jiān)測4
def selenium(js): option = webdriver.ChromeOptions() # option.add_argument('--headless') option.add_experimental_option('useAutomationExtension', False) option.add_experimental_option('excludeSwitches', ['enable-automation']) bro = webdriver.Chrome(executable_path='./chromedriver', options=option) # 彈出瀏覽器,要給瀏覽器驅動的地址 # 打開頁面優(yōu)先執(zhí)行的js,execute_cdp_cmd bro.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", { "source": """ Object.defineProperty(navigator, 'webdriver', { get: () => undefined }) """ }) bro.implicitly_wait(10) bro.get('https://www.toutiao.com/') time.sleep(5) print(bro.page_source) # 獲取頁面返回的html代碼 bro.execute_script(js) input()
以上就是selenium執(zhí)行js并繞過webdriver監(jiān)測常見方法的詳細內(nèi)容,更多關于selenium執(zhí)行js繞過webdriver監(jiān)測的資料請關注腳本之家其它相關文章!
相關文章
python中multiprosessing模塊的Pool類中的apply函數(shù)和apply_async函數(shù)的區(qū)別
這篇文章主要介紹了python中multiprosessing模塊的Pool類中的apply函數(shù)和apply_async函數(shù)的區(qū)別、文章圍繞主題的相關內(nèi)容展開詳細介紹,具有一定的參考價值,需要的小伙伴可以參考一下2022-06-06python 禁止函數(shù)修改列表的實現(xiàn)方法
下面小編就為大家?guī)硪黄猵ython 禁止函數(shù)修改列表的實現(xiàn)方法。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2017-08-08