selenium環(huán)境搭建及基本元素定位方式詳解
谷歌驅(qū)動下載地址：
http://chromedriver.storage.googleapis.com/index.html
一、selenium簡介
由于requests模塊是一個不完全模擬瀏覽器行為的模塊，只能爬取到網(wǎng)頁的HTML文檔信息，無法解析和執(zhí)行CSS、JavaScript代碼，因此需要我們做人為判斷；
1、什么是selenium selenium最初是一個自動化測試工具，而爬蟲中使用它主要是為了解決requests無法執(zhí)行javaScript代碼的問題。selenium模塊本質(zhì)是通過驅(qū)動瀏覽器，完全模擬瀏覽器的操作，比如跳轉(zhuǎn)、輸入、點擊、下拉等，來拿到網(wǎng)頁渲染之后的結(jié)果，可支持多種瀏覽器；由于selenium解析執(zhí)行了CSS、JavaScript所以相對requests它的性能是低下的；
2、selenium的用途
1）selenium可以驅(qū)動瀏覽器自動執(zhí)行自定義好的邏輯代碼，也就是可以通過代碼完全模擬成人類使用瀏覽器自動訪問目標(biāo)站點并操作，那我們也可以拿它來做爬蟲。
2）selenium本質(zhì)上是通過驅(qū)動瀏覽器，完全模擬瀏覽器的操作，比如跳轉(zhuǎn)、輸入、點擊、下拉等...進(jìn)而拿到網(wǎng)頁渲染之后的結(jié)果，可支持多種瀏覽器
二、selenium的安裝與測試
1、下載selenium模塊：pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple selenium或者在pycharm中下載
2、安裝瀏覽器驅(qū)動1) Google瀏覽器驅(qū)動（在下載驅(qū)動之前，查看一下chrome瀏覽器的版本號，如下：
1)谷歌驅(qū)動下載地址：
http://chromedriver.storage.googleapis.com/index.html
當(dāng)然也可以去官網(wǎng)找最新的版本，官網(wǎng): https://sites.google.com/a/chromium.org/chromedriver/downloads另外注意：把下載好的chromedriver.exe放到python安裝路徑的scripts目錄中即可
2) firefox瀏覽器驅(qū)動：selenium3默認(rèn)支持的webdriver是Firfox，而Firefox需要安裝geckodriver下載鏈接：https://github.com/mozilla/geckodriver/releases
3) 測試是否安裝成功
from selenium import webdriver
browser=webdriver.Chrome()
# # 打開瀏覽器
browser.get('https://baidu.com')
s=browser.find_element_by_id('kw') # 其中kw便是頁面中某個元素的id值
print(s)2.1 設(shè)置瀏覽器驅(qū)動
from selenium import webdriver driver = webdriver.Firefox() # Firefox瀏覽器 driver = webdriver.Chrome() # Chrome瀏覽器 driver = webdriver.Ie() # Ie瀏覽器 driver = webdriver.Edge() # Edge瀏覽器 driver = webdriver.PhantomJS() # PhantomJS()
2.2 Selenium 元素定位
<html>
<head>
<body link="#0000cc">
<a id="result_logo" href="/" onmousedown="return c({'fm':'tab','tab':'logo'})">
<form id="form" class="fm" name="f" action="/s">
<span class="soutu-btn"></span>
<input id="kw" class="s_ipt" name="wd" value="" maxlength="255" autocomplete="off"># 通過 id 定位
dr.find_element_by_id("kw")
# 通過name定位:
dr.find_element_by_name("wd")
# 通過class name定位:
dr.find_element_by_class_name("s_ipt")
# 通過tag name定位:
dr.find_element_by_tag_name("input")
# 通過 xpath 定位的幾種寫法
dr.find_element_by_xpath("http://*[@id='kw']")
dr.find_element_by_xpath("http://*[@name='wd']"
)dr.find_element_by_xpath("http://input[@class='s_ipt']")
dr.find_element_by_xpath("/html/body/form/span/input")
dr.find_element_by_xpath("http://span[@class='soutu-btn']/input")
dr.find_element_by_xpath("http://form[@id='form']/span/input")
dr.find_element_by_xpath("http://input[@id='kw' and @name='wd']")
# 通過 css 定位的幾種寫法
dr.find_element_by_css_selector("#kw")
dr.find_element_by_css_selector("[name=wd]")
dr.find_element_by_css_selector(".s_ipt")
dr.find_element_by_css_selector("html > body > form > span > input")
dr.find_element_by_css_selector("span.soutu-btn> input#kw")
dr.find_element_by_css_selector("form#form > span > input")
# 通過 link_text 定位
dr.find_element_by_link_text("新聞")
dr.find_element_by_link_text("hao123")
dr.find_element_by_partial_link_text("新")
dr.find_element_by_partial_link_text("hao")
dr.find_element_by_partial_link_text("123")
# 如果是定位一組元素，用下面
find_elements_by_id()
find_elements_by_name()
find_elements_by_class_name()
find_elements_by_tag_name()
find_elements_by_link_text()
find_elements_by_partial_link_text()
find_elements_by_xpath()
find_elements_by_css_selector()三、selenium的使用
所謂模擬瀏覽器基本就是下面的流程：
請求
顯示頁面
查找元素
點擊可點擊元素
所以如何使用selenium找到頁面中的標(biāo)簽，進(jìn)而觸發(fā)標(biāo)簽事件，就會變的尤為重要
1. selenium選擇器
要想定位頁面的元素，selenium也提供了一系列的方法。
1) 通過標(biāo)簽id屬性進(jìn)行定位
browser.find_element_by_id('kw') # 其中kw便是頁面中某個元素的id值
2) 通過標(biāo)簽name屬性進(jìn)行定位
# 兩種方式是一樣的
browser.find_element_by_name("wd") # 其中wd是頁面中某個元素的name值
3) 通過標(biāo)簽名進(jìn)行定位
browser.find_element_by_tag_name("img") # img參數(shù)表示的就是圖片標(biāo)簽img
4) 通過CSS查找方式進(jìn)行定位
browser.find_elements_by_css_selector("#kw") # 根據(jù)選擇器進(jìn)行定位查找，其中#kw表示的是id選擇器名稱是kw的
5) 通過xpath方式定位
browser.find_element_by_xpath('//*[@id="kw"]') # 參數(shù)即是xpath的語法
6) 通過搜索頁面中鏈接進(jìn)行定位
有時候不是一個輸入框也不是一個按鈕，而是一個文字鏈接，我們可以通過link
browser.find_element_by_link_text("設(shè)置")
通過搜索頁面中鏈接進(jìn)行定位 ，可以支持模糊匹配**
browser.find_element_by_partial_link_text("百度") # 查找頁面所有的含有百度的文字鏈接到此這篇關(guān)于selenium環(huán)境搭建及基本元素定位方式的文章就介紹到這了,更多相關(guān)selenium環(huán)境搭建內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
conda虛擬環(huán)境使用pip下載包到當(dāng)前環(huán)境的兩種方法
conda管理包很方便,但并不是所有包都有最新的conda版本,所以仍需要使用conda中的pip來安裝包,下面這篇文章主要給大家介紹了關(guān)于conda虛擬環(huán)境使用pip下載包到當(dāng)前環(huán)境的兩種方法,需要的朋友可以參考下2022-08-08
正二十面體由20個小的正三角形面組成,每個頂點周圍有?5?個頂點,下面這篇文章主要給大家介紹了關(guān)于Python繪制正二十面體圖形的相關(guān)資料,需要的朋友可以參考下2022-12-12
這篇文章主要為大家詳細(xì)介紹了python實現(xiàn)音樂下載器，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-04-04
在Python中，filter函數(shù)是一種內(nèi)置的高階函數(shù)，它能夠接受一個函數(shù)和一個迭代器，然后返回一個新的迭代器，本文主要來介紹一下Python中filter函數(shù)的具體用法，需要的可以參考一下2023-07-07
這篇文章主要介紹了python中的集合及集合常用的使用方法，集合是一個無序的不重復(fù)元素序列，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，具有一定的參考價值，需要的朋友可以參考一下2022-07-07
Pandas數(shù)據(jù)分析之pandas數(shù)據(jù)透視表和交叉表
這篇文章主要介紹了Pandas數(shù)據(jù)分析之pandas數(shù)據(jù)透視表和交叉表，pandas對數(shù)據(jù)框也可以像excel一樣進(jìn)行數(shù)據(jù)透視表整合之類的操作。主要是針對分類數(shù)據(jù)進(jìn)行操作，還可以計算數(shù)值型數(shù)據(jù)，去滿足復(fù)雜的分類數(shù)據(jù)整理的邏輯2022-08-08
Pandas中常用的七個時間戳處理函數(shù)使用總結(jié)
在零售、經(jīng)濟和金融等行業(yè)，數(shù)據(jù)總是由于貨幣和銷售而不斷變化，生成的所有數(shù)據(jù)都高度依賴于時間。如果這些數(shù)據(jù)沒有時間戳或標(biāo)記，實際上很難管理所有收集的數(shù)據(jù)。本文為大家準(zhǔn)備了Pandas中常用的七個時間戳處理函數(shù)，需要的可以參考一下2022-04-04
大家都知道常見的告警方式有：郵件，電話，短信，微信，今天通過本文給大家介紹下Python 發(fā)送告警通知到微信的操作過程，感興趣的朋友一起看看吧2022-01-01
python中把元組轉(zhuǎn)換為namedtuple方法
在本篇文章里小編給大家整理的是一篇關(guān)于python中把元組轉(zhuǎn)換為namedtuple方法，有興趣的朋友們可以參考下。2020-12-12
這篇文章主要介紹了淺談django orm 優(yōu)化，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-08-08