Python Beautiful Soup模塊使用教程詳解
更新時間：2023年02月24日 09:55:46 作者：Thunderclap_
Beautiful Soup 簡稱 BS4（其中 4 表示版本號）是一個 Python 中常用的頁面解析庫，它可以從 HTML 或 XML 文檔中快速地提取指定的數(shù)據(jù)，這篇文章主要介紹了Python Beautiful Soup模塊的使用
一、模塊簡介
Beautiful Soup 是一個可以從HTML或XML文件中提取數(shù)據(jù)的Python庫.它能夠通過你喜歡的轉換器實現(xiàn)慣用的文檔導航,查找,修改文檔的方式.Beautiful Soup會幫你節(jié)省數(shù)小時甚至數(shù)天的工作時間.
二、方法利用
1、引入模塊
# 引入 html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormouse's story</b></p> <p class="story">Once upon a time there were three little sisters; and their names were <a rel="external nofollow" class="sister" id="link1">Elsie</a>, <a rel="external nofollow" class="sister" id="link2">Lacie</a> and <a rel="external nofollow" class="sister" id="link3">Tillie</a>; and they lived at the bottom of a well.</p> <p class="story">...</p> """ from bs4 import BeautifulSoup soup = BeautifulSoup(html_doc, 'html.parser')
四種解析器
2、幾個簡單的瀏覽結構化數(shù)據(jù)的方法
#獲取Tag，通俗點就是HTML中的一個個標簽
#獲取Tag，通俗點就是HTML中的一個個標簽
soup.title # 獲取整個title標簽字段：<title>The Dormouse's story</title>
soup.title.name # 獲取title標簽名稱 ：title
soup.title.parent.name # 獲取 title 的父級標簽名稱：head
soup.p # 獲取第一個p標簽字段：<p class="title"><b>The Dormouse's story</b></p>
soup.p['class'] # 獲取第一個p中class屬性值：title
soup.p.get('class') # 等價于上面
soup.a # 獲取第一個a標簽字段
soup.find_all('a') # 獲取所有a標簽字段
soup.find(id="link3") # 獲取屬性id值為link3的字段
soup.a['class'] = "newClass" # 可以對這些屬性和內(nèi)容等等進行修改
del bs.a['class'] # 還可以對這個屬性進行刪除
soup.find('a').get('id') # 獲取class值為story的a標簽中id屬性的值
soup.title.string # 獲取title標簽的值 ：The Dormouse's story三、具體利用
1、獲取擁有指定屬性的標簽
方法一：獲取單個屬性
soup.find_all('div',id="even") # 獲取所有id=even屬性的div標簽
soup.find_all('div',attrs={'id':"even"}) # 效果同上
方法二:
soup.find_all('div',id="even",class_="square") # 獲取所有id=even并且class=square屬性的div標簽
soup.find_all('div',attrs={"id":"even","class":"square"}) # 效果同上2、獲取標簽的屬性值
方法一：通過下標方式提取
for link in soup.find_all('a'):
print(link['href']) //等同于 print(link.get('href'))
方法二：利用attrs參數(shù)提取
for link in soup.find_all('a'):
print(link.attrs['href'])3、獲取標簽中的內(nèi)容
divs = soup.find_all('div') # 獲取所有的div標簽
for div in divs: # 循環(huán)遍歷div中的每一個div
a = div.find_all('a')[0] # 查找div標簽中的第一個a標簽
print(a.string) # 輸出a標簽中的內(nèi)容
如果結果沒有正確顯示，可以轉換為list列表4、stripped_strings
去除\n換行符等其他內(nèi)容 stripped_strings
divs = soup.find_all('div')
for div in divs:
infos = list(div.stripped_strings) # 去掉空格換行等
bring(infos)四、輸出
1、格式化輸出prettify()
prettify() 方法將Beautiful Soup的文檔樹格式化后以Unicode編碼輸出,每個XML/HTML標簽都獨占一行
markup = '<a rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >I linked to <i>example.com</i></a>' soup = BeautifulSoup(markup) soup.prettify() # '<html>\n <head>\n </head>\n <body>\n <a rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >\n...' print(soup.prettify()) # <html> # <head> # </head> # <body> # <a rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" > # I linked to # <i> # example.com # </i> # </a> # </body> # </html>
2、get_text()
如果只想得到tag中包含的文本內(nèi)容,那么可以調(diào)用 get_text() 方法,這個方法獲取到tag中包含的所有文版內(nèi)容包括子孫tag中的內(nèi)容,并將結果作為Unicode字符串返回:
markup = '<a rel="external nofollow" rel="external nofollow" rel="external nofollow" rel="external nofollow" >\nI linked to <i>example.com</i>\n</a>' soup = BeautifulSoup(markup) soup.get_text() u'\nI linked to example.com\n' soup.i.get_text() u'example.com'
到此這篇關于Python Beautiful Soup模塊使用教程詳解的文章就介紹到這了,更多相關Python Beautiful Soup內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要介紹了Python創(chuàng)建空列表的字典2種方法詳解,需要的朋友可以參考下2020-02-02
這篇文章主要介紹了python如何解決指定代碼段超時程序卡死，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-11-11
pyqt5利用pyqtDesigner實現(xiàn)登錄界面
這篇文章主要為大家詳細介紹了pyqt5利用pyqtDesigner實現(xiàn)登錄界面，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-03-03
這篇文章主要介紹了PyQt5之如何將.ui文件轉換為.py文件,本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-05-05
今天小編就為大家分享一篇pytorch索引查找 index_select的例子，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08
這篇文章主要介紹了Python實現(xiàn)的knn算法,結合實例形式詳細分析了Python實現(xiàn)knn算法的原理與相關操作技巧,并附帶給出了statsmodels模塊與pandas模塊的下載、安裝操作方法,需要的朋友可以參考下2018-06-06
Python使用signal定時結束AsyncIOScheduler任務的問題
這篇文章主要介紹了Python使用signal定時結束AsyncIOScheduler任務,在使用aiohttp結合apscheduler的AsyncIOScheduler模擬定點并發(fā)的時候遇到兩個問題，針對每個問題給大家詳細介紹，需要的朋友可以參考下2021-07-07
這篇文章主要介紹了使用BeautifulSoup4解析XML的方法小結，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-12-12
這篇文章主要介紹了Django操作session 的方法，本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-03-03
這篇文章主要介紹了Python匿名函數(shù)及應用,結合實例形式分析了Python匿名函數(shù)的功能、定義及函數(shù)作為參數(shù)傳遞的相關應用操作技巧,需要的朋友可以參考下2019-04-04