使用Python實現(xiàn)批量訪問URL并解析XML響應功能

更新時間：2025年01月13日 09:03:14 作者：碼農(nóng)阿豪@新空間代碼工作室

在現(xiàn)代Web開發(fā)和數(shù)據(jù)抓取中,批量訪問URL并解析響應內(nèi)容是一個常見的需求,本文將詳細介紹如何使用Python實現(xiàn)批量訪問URL并解析XML響應功能,文中有詳細的代碼示例供大家參考,需要的朋友可以參考下

引言

在現(xiàn)代Web開發(fā)和數(shù)據(jù)抓取中，批量訪問URL并解析響應內(nèi)容是一個常見的需求。本文將詳細介紹如何使用Python實現(xiàn)以下功能：

批量訪問URL：通過腳本自動訪問多個URL。
解析XML響應：從響應中提取所需的數(shù)據(jù)。
保存響應內(nèi)容：將響應內(nèi)容保存到文件中，便于后續(xù)分析。

我們將從基礎(chǔ)的工具方法開始，逐步擴展到批量處理URL的場景，并最終實現(xiàn)一個完整的工具腳本。

1. 背景與需求

假設我們有一個包含多個URL的文件（urls.txt），每個URL返回的響應是一個XML格式的數(shù)據(jù)，如下所示：

<HashMap>
    <code>000000</code>
    <data>葉先生|18004565345</data>
    <message>成功</message>
</HashMap>

我們的目標是：

讀取urls.txt文件中的每個URL。
調(diào)用默認瀏覽器訪問該URL。
解析XML響應，提取code、data和message字段。
將解析后的內(nèi)容保存到文件中。

2. 工具方法實現(xiàn)

2.1 單URL訪問與解析

首先，我們實現(xiàn)一個工具方法fetch_and_parse_xml，用于訪問單個URL并解析其XML響應。

代碼實現(xiàn)

import requests
import xml.etree.ElementTree as ET
import webbrowser

def fetch_and_parse_xml(url, headers=None, output_file="response.xml"):
    """
    工具方法：傳入一個URL，打開默認瀏覽器訪問，解析XML響應并保存到文件。

    :param url: 要訪問的URL
    :param headers: 請求頭（可選）
    :param output_file: 保存解析結(jié)果的XML文件路徑
    :return: 解析后的XML內(nèi)容（字典形式）
    """
    # 默認請求頭
    default_headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36',
        'HOST': 'car.autohome.com.cn'
    }
    
    # 如果傳入自定義請求頭，則合并
    if headers:
        default_headers.update(headers)

    try:
        # 發(fā)送HTTP GET請求
        resp = requests.get(url, headers=default_headers)
        resp.raise_for_status()  # 檢查請求是否成功

        # 調(diào)用默認瀏覽器打開URL
        webbrowser.open(url)

        # 解析XML響應
        root = ET.fromstring(resp.text)
        parsed_data = {
            "code": root.find("code").text,
            "data": root.find("data").text,
            "message": root.find("message").text
        }

        # 將解析后的內(nèi)容保存到文件
        with open(output_file, "w", encoding="utf-8") as file:
            file.write(resp.text)  # 保存原始XML響應
            print(f"響應已保存到文件：{output_file}")

        # 返回解析后的內(nèi)容
        return parsed_data
    except requests.exceptions.RequestException as e:
        print(f"請求URL時出錯：{e}")
        return None
    except ET.ParseError as e:
        print(f"解析XML響應時出錯：{e}")
        return None

代碼說明

請求URL：
- 使用requests.get發(fā)送HTTP GET請求。
- 支持自定義請求頭。
調(diào)用默認瀏覽器：
- 使用webbrowser.open打開默認瀏覽器訪問URL。
解析XML響應：
- 使用xml.etree.ElementTree解析XML響應。
- 提取code、data和message字段。
保存響應內(nèi)容：
- 將原始XML響應保存到文件中。
異常處理：
- 捕獲請求和XML解析過程中的異常，并打印錯誤信息。

2.2 示例調(diào)用

以下是如何調(diào)用fetch_and_parse_xml方法的示例：

if __name__ == "__main__":
    url = "http://travel.yundasys.com:31432/interface/orderPhone?txm=320323134183104&type=1"
    response_data = fetch_and_parse_xml(url, output_file="response.xml")
    
    if response_data:
        print("解析后的XML內(nèi)容：")
        print(f"Code: {response_data['code']}")
        print(f"Data: {response_data['data']}")
        print(f"Message: {response_data['message']}")

示例輸出

假設URL返回的XML響應如下：

<HashMap>
    <code>000000</code>
    <data>葉先生|180****5345</data>
    <message>成功</message>
</HashMap>

控制臺輸出：

解析后的XML內(nèi)容：
Code: 000000
Data: 葉先生|180****5345
Message: 成功
響應已保存到文件：response.xml

文件內(nèi)容（response.xml）：

<HashMap>
    <code>000000</code>
    <data>葉先生|180****5345</data>
    <message>成功</message>
</HashMap>

3. 批量處理URL

接下來，我們擴展工具方法，支持批量處理URL文件（urls.txt）。

3.1 批量處理腳本

以下是批量處理URL的完整腳本：

import requests
import xml.etree.ElementTree as ET
import webbrowser

def fetch_and_parse_xml(url, headers=None, output_file="response.xml"):
    """
    工具方法：傳入一個URL，打開默認瀏覽器訪問，解析XML響應并保存到文件。

    :param url: 要訪問的URL
    :param headers: 請求頭（可選）
    :param output_file: 保存解析結(jié)果的XML文件路徑
    :return: 解析后的XML內(nèi)容（字典形式）
    """
    # 默認請求頭
    default_headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36',
        'HOST': 'car.autohome.com.cn'
    }
    
    # 如果傳入自定義請求頭，則合并
    if headers:
        default_headers.update(headers)

    try:
        # 發(fā)送HTTP GET請求
        resp = requests.get(url, headers=default_headers)
        resp.raise_for_status()  # 檢查請求是否成功

        # 調(diào)用默認瀏覽器打開URL
        webbrowser.open(url)

        # 解析XML響應
        root = ET.fromstring(resp.text)
        parsed_data = {
            "code": root.find("code").text,
            "data": root.find("data").text,
            "message": root.find("message").text
        }

        # 將解析后的內(nèi)容保存到文件
        with open(output_file, "w", encoding="utf-8") as file:
            file.write(resp.text)  # 保存原始XML響應
            print(f"響應已保存到文件：{output_file}")

        # 返回解析后的內(nèi)容
        return parsed_data
    except requests.exceptions.RequestException as e:
        print(f"請求URL時出錯：{e}")
        return None
    except ET.ParseError as e:
        print(f"解析XML響應時出錯：{e}")
        return None

def batch_process_urls(url_file, headers=None):
    """
    批量處理URL文件中的每個URL。

    :param url_file: 包含URL的文件路徑
    :param headers: 請求頭（可選）
    """
    try:
        with open(url_file, "r", encoding="utf-8") as file:
            urls = file.readlines()
    except FileNotFoundError:
        print(f"文件 {url_file} 不存在！")
        return

    for i, url in enumerate(urls):
        url = url.strip()  # 去除換行符和空格
        if not url:
            continue

        print(f"正在處理第 {i + 1} 個URL：{url}")
        output_file = f"response_{i + 1}.xml"
        response_data = fetch_and_parse_xml(url, headers=headers, output_file=output_file)
        
        if response_data:
            print(f"解析后的XML內(nèi)容：")
            print(f"Code: {response_data['code']}")
            print(f"Data: {response_data['data']}")
            print(f"Message: {response_data['message']}")
        print("-" * 40)

# 示例調(diào)用
if __name__ == "__main__":
    url_file = "urls.txt"
    batch_process_urls(url_file)

示例輸出

假設urls.txt文件內(nèi)容如下：

http://travel.yundasys.com:31432/interface/orderPhone?txm=320323134183104&type=1
http://travel.yundasys.com:31432/interface/orderPhone?txm=320323115958004&type=1

控制臺輸出：

正在處理第 1 個URL：http://travel.yundasys.com:31432/interface/orderPhone?txm=320323134183104&type=1
響應已保存到文件：response_1.xml
解析后的XML內(nèi)容：
Code: 000000
Data: 葉先生|180****5345
Message: 成功
----------------------------------------
正在處理第 2 個URL：http://travel.yundasys.com:31432/interface/orderPhone?txm=320323115958004&type=1
響應已保存到文件：response_2.xml
解析后的XML內(nèi)容：
Code: 000000
Data: 李先生|138****1234
Message: 成功
----------------------------------------