快捷導(dǎo)航

selenium跳過webdriver檢測并模擬登錄淘寶

更新時間：2019年06月12日 15:18:01 作者：云外孤鳥

這篇文章主要介紹了selenium跳過webdriver檢測并模擬登錄淘寶，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

簡介

模擬登錄淘寶已經(jīng)不是一件新鮮的事情了，過去我曾經(jīng)使用get/post方式進(jìn)行爬蟲，同時也加入IP代理池進(jìn)行跳過檢驗(yàn)，但隨著大型網(wǎng)站的升級，采取該策略比較難實(shí)現(xiàn)了。因?yàn)槟闶褂胓et/post方式進(jìn)行爬取數(shù)據(jù)，會提示需要登錄，而登錄又是一大難題，需要滑動驗(yàn)證碼驗(yàn)證。當(dāng)你想使用IP代理池進(jìn)行跳過檢驗(yàn)時，發(fā)現(xiàn)登錄時需要手機(jī)短信驗(yàn)證碼驗(yàn)證，由此可以知道舊的全自動爬取數(shù)據(jù)對于大型網(wǎng)站比較困難了。

selenium是一款優(yōu)秀的WEB自動化測試工具，所以現(xiàn)在采用selenium進(jìn)行半自動化爬取數(shù)據(jù)，支持模擬登錄淘寶和自動處理滑動驗(yàn)證碼。

編寫思路

由于現(xiàn)在大型網(wǎng)站對selenium工具進(jìn)行檢測，若檢測到selenium，則判定為機(jī)器人，訪問被拒絕。所以第一步是要防止被檢測出為機(jī)器人，如何防止被檢測到呢？當(dāng)使用selenium進(jìn)行自動化操作時，在chrome瀏覽器中的consloe中輸入windows.navigator.webdriver會發(fā)現(xiàn)結(jié)果為Ture，而正常使用瀏覽器的時候該值為False。所以我們將windows.navigator.webdriver進(jìn)行屏蔽。

在代碼中添加：

 options = webdriver.ChromeOptions()
  # 此步驟很重要，設(shè)置為開發(fā)者模式，防止被各大網(wǎng)站識別出來使用了Selenium
  options.add_experimental_option('excludeSwitches', ['enable-automation']) 
  self.browser = webdriver.Chrome(executable_path=chromedriver_path, options=options)

同時，為了加快爬取速度，我們將瀏覽器模式設(shè)置為不加載圖片，在代碼中添加：

 options = webdriver.ChromeOptions()
  # 不加載圖片,加快訪問速度
  options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})

至此，關(guān)鍵的步驟我們已經(jīng)懂了，剩下的就是編寫代碼的事情了。在給定的例子中，需要你對html、css有一定了解。
比如存在以下代碼：

 self.browser.find_element_by_xpath('//*[@class="btn_tip"]/a/span').click()
  taobao_name = self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '.site-nav-bd > ul.site-nav-bd-l > li#J_SiteNavLogin > div.site-nav-menu-hd > div.site-nav-user > a.site-nav-login-info-nick ')))
  print(taobao_name.text)

第1行代碼指的是從根目錄(//)開始尋找任意(*)一個class名為btn_tip的元素，并找到btn_tip的子元素a標(biāo)簽中的子元素span

第2行代碼指的是等待某個CSS元素出現(xiàn)，否則代碼停留在這里一直檢測。以.開頭的在CSS中表示類名(class)，以#開頭的在CSS中表示ID名(id)。A > B，指的是A的子元素B。所以這行代碼可以理解為尋找A的子元素B的子元素C的子元素D的子元素E出現(xiàn)，否則一直在這里檢測。

第3行代碼指的是打印某個元素的文本內(nèi)容

使用教程

點(diǎn)擊這里下載下載chrome瀏覽器

查看chrome瀏覽器的版本號，點(diǎn)擊這里下載對應(yīng)版本號的chromedriver驅(qū)動

pip安裝下列包

[x] pip install selenium

點(diǎn)擊這里登錄微博，并通過微博綁定淘寶賬號密碼

在main中填寫chromedriver的絕對路徑

在main中填寫微博賬號密碼

 #改成你的chromedriver的完整路徑地址
 chromedriver_path = "/Users/bird/Desktop/chromedriver.exe" 
 #改成你的微博賬號
 weibo_username = "改成你的微博賬號"
 #改成你的微博密碼
 weibo_password = "改成你的微博密碼"

演示圖片