Scrapy中詭異xpath的匹配內(nèi)容失效問題及解決
更新時間：2022年12月19日 14:52:19 作者：bladestone
這篇文章主要介紹了Scrapy中詭異xpath的匹配內(nèi)容失效問題及解決方案，具有很好的價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
引言
在爬蟲的世界里，xpath是一種非常簡單易用的匹配規(guī)則，方便我們在web世界里提取需要的各類信息。
本文將講述一個xpath規(guī)則無效的問題分析過程。
環(huán)境介紹
Python 3.6.1 Scrapy 1.5.0
問題
在選用xpath之時，都是基于firefox或者chrome中自帶的Web開發(fā)工具來選取的。
這里一般推薦使用chrome的devtool，功能強大，簡單易用，童叟無欺，居家旅游必須良品呀。
具體示意如下：
基于xpath提取信息
基于xpath提取的路徑信息，示例如下：
//*[@id=”SpanPlanSchoolInfo”]/table[2]/tbody/tr[3]/td/table/tbody/tr[2]/td[1]/a
在Scrapy代碼中使用如下：
def parse(self, response):
xpath_url = '//*[@id="SpanPlanSchoolInfo"]/table[2]/tbody/tr[3]/td/table/tbody/tr[2]/td[1]/a'
urls = response.xpath(xpath_url)
.....但是在實際執(zhí)行中，卻一直沒有匹配到urls，根據(jù)實際上頁面返回正常，同時數(shù)據(jù)也是正確可以匹配到的，那問題出現(xiàn)在哪里呢？
問題分析
根據(jù)結(jié)果來分析，如果頁面存在，但是沒有正確的結(jié)果輸出，則一定是xpath的問題，但是xpath問題是基于chrome自帶的devtools工具copy而來的，怎么可能出錯恩？真是讓人想不透的問題…….
在經(jīng)過一番深入的反復(fù)嘗試之后，主要是基于scrapy提供的強大的scrapy shell交互工具，可以幫助開發(fā)者快速地一步一步地定位問題。
于是采取了逐步縮小xpath的方式，逐步定位問題，終于找到了問題的原因所在，那就是tbody是一個需要移除的tag標簽。
將正確的xpath設(shè)置為：
//*[@id=”SpanPlanSchoolInfo”]/table[2]/tr[3]/td/table/tbody/tr[2]/td[1]/a
問題總結(jié)
雖然問題解決了，但是原因是什么呢？
經(jīng)過分析，主要是由于瀏覽器本身自動為table新增了tbody標簽內(nèi)容，但是在xpath中是不需要的，需要在進行xpath查詢之時移除掉。
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了django中的圖片驗證碼功能,需要的朋友可以參考下2019-09-09
在本篇文章里小編給大家分享的是一篇關(guān)于python中寫類的方法和技巧，需要的朋友們可以學(xué)習(xí)下。2020-06-06
這篇文章主要介紹了python with和上下文管理器的相關(guān)資料，幫助大家更好的理解和學(xué)習(xí)python，感興趣的朋友可以了解下2020-09-09
這篇文章主要介紹了用Python爬取指定關(guān)鍵詞的微博，下面文章圍繞Python爬取指定關(guān)鍵詞的微博的相關(guān)資料展開詳細內(nèi)容,需要的朋友可以參考一下2021-11-11
這篇文章主要介紹了Django 如何實現(xiàn)文件上傳下載，幫助大家更好的理解和學(xué)習(xí)使用Django框架，感興趣的朋友可以了解下2021-04-04
今天小編就為大家分享一篇在python中實現(xiàn)對list求和及求積，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-11-11
這篇文章主要介紹了pymysql的簡單封裝代碼實例,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-01-01
這篇文章主要介紹了Python科學(xué)計算之NumPy，文中給出了詳細的介紹與示例代碼，對大家的理解具有一定的參考借鑒價值，有需要的朋友可以一起來學(xué)習(xí)學(xué)習(xí)。2017-01-01
這篇文章主要給大家介紹了關(guān)于python中sys模塊的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04
本文詳細講解了python中的生成器、迭代器、裝飾器，文中通過示例代碼介紹的非常詳細。對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-07-07