python使用xpath獲取頁面元素的使用
更新時間：2021年09月10日 12:02:19 作者：Sun@Python
本文主要介紹了python使用xpath獲取頁面元素的使用，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
關(guān)于python 使用xpath獲取網(wǎng)頁信息的方法？
1、xpath的使用方法？
XPath 使用路徑表達式來選取 XML 文檔中的節(jié)點或節(jié)點集。節(jié)點是通過沿著路徑 (path) 或者步 (steps) 來選取的。
常用路徑表達式含義
| 表達式 | 描述 |
|---|---|
| / | 從根節(jié)點選?。ㄈ∽庸?jié)點） |
| // | 選擇的當前節(jié)點選擇文檔中的節(jié)點 |
| . | 選取當前節(jié)點。 |
| … | 選取當前節(jié)點的父節(jié)點。 |
| @ | 選取屬性 |
| * | 表示任意內(nèi)容（通配符） |
| | | 運算符可以選取多個路徑 |
常用功能函數(shù)
| 函數(shù) | 用法 | 解釋 |
|---|---|---|
| startswith() | xpath(‘//div[starts-with(@id,”ma”)]‘) | #選取id值以ma開頭的div節(jié)點 |
| contains() | xpath(‘//div[contains(@id,”ma”)]‘) | #選取id值包含ma的div節(jié)點 |
| and() | xpath(‘//div[contains(@id,”ma”) and contains(@id,”in”)]‘) | #選取id值包含ma的div節(jié)點 |
| text() | _.xpath('./div/div[4]/a/em/text()') | #選取em標簽下文本內(nèi)容 |
備注：
1、html中當相同層次存在多個標簽例如div,它們的順序是從1開始，不是0
2、瀏覽器中使用開發(fā)者工具可以快速獲取節(jié)點信息
2、實例：
#!/usr/bin/python3
# -*- coding: utf-8 -*-
# @Time : 2021/9/7 9:35
# @Author : Sun
# @Email : 8009@163.com
# @File : sun_test.py
# @Software: PyCharm
import requests
from lxml import etree
def get_web_content():
try:
url = "htpps://***keyword=%E6%97%A0%E9%92%A2%E5%9C%88&wq=%E6%97%A0%E"
"9%92%A2%E5%9C%88&ev=1_68131%5E&pvid=afbf41410b164c1b91d"
"abdf18ae8ab5c&page=5&s=116&click=0 "
header = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)"
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/75.0.3770.100 Safari/537.36 "}
response = requests.request(method="Get", url=url, headers=header)
result = response.text
return result
except TimeoutError as e:
return None
def parsing():
result = get_web_content()
if result is not None:
html = etree.HTML(result)
# 先獲取一個大的節(jié)點，包含了想要獲取的所有信息
ii = html.xpath('//*[@id="J_goodsList"]/ul/li')
for _ in ii:
# 采用循環(huán)，依次從大節(jié)點中獲取小的節(jié)點內(nèi)容
# ''.join() 將列表中的內(nèi)容拼接成一個字符串
infoResult = {
# @href 表示：獲取屬性為href的內(nèi)容
'href': "https:" + _.xpath('./div/div[1]/a/@href')[0],
'title': ''.join(
_.xpath('./div/div[2]/div/ul/li/a/@title')),
# text()表示獲取節(jié)點i里面的文本信息
'price': _.xpath('./div/div[3]/strong/i/text()')[0],
'info': ''.join(
_.xpath('./div/div[4]/a/em/text()')).strip(),
'province': _.xpath('./div/div[9]/@data-province')[0]}
print(infoResult)
else:
raise Exception("Failed to get page information, please check！")
return None
if __name__ == '__main__':
parsing()
結(jié)果圖片：
到此這篇關(guān)于python使用xpath獲取頁面元素的使用的文章就介紹到這了,更多相關(guān)python xpath獲取頁面元素內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
大家好，本篇文章主要講的是python多線程互斥鎖與死鎖問題詳解，感興趣的同學趕快來看一看吧，對你有幫助的話記得收藏一下2022-01-01
下面小編就為大家分享一篇python實現(xiàn)簡單登陸流程的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
使用Python判斷質(zhì)數(shù)(素數(shù))的簡單方法講解
這篇文章主要介紹了使用Python判斷質(zhì)數(shù)(素數(shù))的簡單方法講解,經(jīng)常被用來做科學計算的Python處理這種小問題當然手到擒來^_-需要的朋友可以參考下2016-05-05
今天小編就為大家分享一篇Python利用FFT進行簡單濾波的實現(xiàn)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
Python shutil模塊實現(xiàn)文件的裁剪、壓縮與解壓縮的方法
這篇文章主要介紹了Python shutil模塊實現(xiàn)文件的裁剪、壓縮與解壓縮的方法,本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2023-01-01
Python使用OpenCV對彩色圖像進行通道分離的項目實踐
通道分離是將彩色圖像的每個像素分解為三個通道（紅、綠、藍）的過程,本文主要介紹了Python使用OpenCV對彩色圖像進行通道分離的項目實踐,感興趣的可以了解一下
2023-08-08 
Python continue繼續(xù)循環(huán)用法總結(jié)
本篇文章給大家總結(jié)了關(guān)于Python continue繼續(xù)循環(huán)的相關(guān)知識點以及用法，有需要的朋友跟著學習下吧。
2018-06-06 
這篇文章主要介紹了pandas實現(xiàn)按行選擇的示例代碼，文中通過示例代碼介紹的非常詳細，需要的朋友們下面隨著小編來一起學習學習吧
2021-07-07 
Flask是一個微型的Python開發(fā)的Web框架，基于Werkzeug WSGI工具箱和Jinja2模板引擎。本文將利用Flask框子編寫一個簡單的行人檢測API，感興趣的可以了解一下
2022-03-03