快捷導航

python爬蟲beautifulsoup解析html方法

更新時間：2020年12月07日 10:00:40 作者：木偶跳舞

這篇文章主要介紹了python爬蟲beautifulsoup解析html方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧

用BeautifulSoup 解析html和xml字符串

對象參數(shù)說明

實例：

#!/usr/bin/python
# -*- coding: UTF-8 -*-
from bs4 import BeautifulSoup
import re

#待分析字符串
html_doc = """
<html>
<head>
  <title>The Dormouse's story</title>
</head>
<body>
<p class="title aq">
  <b>
    The Dormouse's story
  </b>
</p>

<p class="story">Once upon a time there were three little sisters; and their names were
  <a  rel="external nofollow" class="sister" id="link1">Elsie</a>,
  <a  rel="external nofollow" class="sister" id="link2">Lacie</a> 
  and
  <a  rel="external nofollow" class="sister" id="link3">Tillie</a>;
  and they lived at the bottom of a well.
</p>

<p class="story">...</p>
"""


# html字符串創(chuàng)建BeautifulSoup對象
soup = BeautifulSoup(html_doc, 'html.parser', from_encoding='utf-8')

#輸出第一個 title 標簽
print soup.title

#輸出第一個 title 標簽的標簽名稱
print soup.title.name

#輸出第一個 title 標簽的包含內(nèi)容
print soup.title.string

#輸出第一個 title 標簽的父標簽的標簽名稱
print soup.title.parent.name

#輸出第一個 p 標簽
print soup.p

#輸出第一個 p 標簽的 class 屬性內(nèi)容
print soup.p['class']

#輸出第一個 a 標簽的 href 屬性內(nèi)容
print soup.a['href']
'''
soup的屬性可以被添加,刪除或修改. 再說一次, soup的屬性操作方法與字典一樣
'''
#修改第一個 a 標簽的href屬性為 http://www.baidu.com/
soup.a['href'] = 'http://www.baidu.com/'

#給第一個 a 標簽添加 name 屬性
soup.a['name'] = u'百度'

#刪除第一個 a 標簽的 class 屬性為
del soup.a['class']

##輸出第一個 p 標簽的所有子節(jié)點
print soup.p.contents

#輸出第一個 a 標簽
print soup.a

#輸出所有的 a 標簽，以列表形式顯示
print soup.find_all('a')

#輸出第一個 id 屬性等于 link3 的 a 標簽
print soup.find(id="link3")

#獲取所有文字內(nèi)容
print(soup.get_text())

#輸出第一個 a 標簽的所有屬性信息
print soup.a.attrs


for link in soup.find_all('a'):
  #獲取 link 的 href 屬性內(nèi)容
  print(link.get('href'))

#對soup.p的子節(jié)點進行循環(huán)輸出  
for child in soup.p.children:
  print(child)

#正則匹配，名字中帶有b的標簽
for tag in soup.find_all(re.compile("b")):
  print(tag.name)

爬蟲設(shè)計思路：

爬蟲設(shè)計思路