快捷導(dǎo)航

Python爬蟲Xpath定位數(shù)據(jù)的兩種方法

更新時(shí)間：2022年07月07日 09:12:15 作者：生活明朗，萬物可愛，人間值得，未來可期

這篇文章主要介紹了Python爬蟲Xpath定位數(shù)據(jù)的方法,第一種方法直接右鍵，將文章路徑復(fù)制下來點(diǎn)擊Copy?full?Xpath，方法二使用@制定標(biāo)簽屬性，搜索指定位置，每種方法給大家介紹的非常詳細(xì)，需要的朋友可以參考下

方法一：直接右鍵，將文章路徑復(fù)制下來點(diǎn)擊Copy full Xpath

使用selenium+lxml中的etree進(jìn)行配合使用，使用etree解析html網(wǎng)頁

import requests
from lxml import etree
import time
import socket
import csv
from selenium import webdriver
from configparser import ConfigParser
from selenium.webdriver import Chrome
from selenium.webdriver import ChromeOptions
#禁止圖片和css加載
chrome_options = webdriver.ChromeOptions()
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
option = ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])
# 如果想加載圖片，就把下面第二句話改第一句話，刪掉上面的“禁止圖片和css加載”部分
# wb = Chrome(options=option)
wb=webdriver.Chrome(options=chrome_options)
#最大化窗口、輸入網(wǎng)址、等待至網(wǎng)頁加載完成（防止元素還沒加載出來就開始爬了這樣自然爬不到數(shù)據(jù)。如果一直加載不出就等10秒，加載好了就立刻結(jié)束等待）
wb.maximize_window()
wb.get("https://www.tianyancha.com/")
wb.implicitly_wait(5)

然后獲取網(wǎng)頁數(shù)據(jù)，這里表明哪怕后面出錯(cuò)了，仍然可以延續(xù)wb的位置繼續(xù)控制瀏覽器

data = wb.page_source
time.sleep(3)
data = wb.page_source
time.sleep(3)
page_all.append(data)
html = etree.HTML(data)
company = html.xpath('/html/body/div/div/div[2]/div/div[1]/div[1]/div[3]/div[1]/div[1]/div[1]/h1/text()')
print(company )

在這里插入圖片描述