pip3 install beautifulsoup4

# beautiful soup 網(wǎng)頁(yè)中提取信息的python庫(kù)
#  BeautifulSoup 對(duì)象表示的是一個(gè)文檔的全部?jī)?nèi)容
#  prettify() 按照標(biāo)準(zhǔn)的縮進(jìn)格式的結(jié)構(gòu)輸出
#  get_text() 會(huì)將HTML文檔中的所有標(biāo)簽清除,返回一個(gè)只包含文字的字符串
from bs4 import BeautifulSoup

text='''
<?xml version="1.0" encoding="ISO-8859-1"?>

<bookstore>

<book>
 <title lang="eng">Harry Potter</title>
 <price>29.99</price>
</book>

<book>
 <title lang="eng">Learning XML</title>
 <price>39.95</price>
</book>

</bookstore>
'''

# create 對(duì)象
bf=BeautifulSoup(text)

# 按照標(biāo)準(zhǔn)縮進(jìn)格式輸出
print(bf.prettify())
# 會(huì)將HTML文檔中的所有標(biāo)簽清除,返回一個(gè)只包含文字的字符串
print(bf.get_text())

# Tag對(duì)象 
# 標(biāo)簽 表示HTML中的一個(gè)個(gè)標(biāo)簽
# name
# attrs

tag=bf.title # 獲取title標(biāo)簽
print(tag)
print(type(tag)) # tag類(lèi)型
print(tag.name) # 標(biāo)簽名稱
print(tag.attrs) #標(biāo)簽屬性
print(tag.attrs["lang"]) #單獨(dú)獲取某個(gè)屬性 方法1
print(bf.title["lang"]) #單獨(dú)獲取某個(gè)屬性 方法2

# NavigableString tag.string
# 表示標(biāo)簽中的文字
print(tag.string)
print(type(tag.string)) # 查看數(shù)據(jù)類(lèi)型

# Comment 注釋部分
# 一個(gè)特殊類(lèi)型的NavigableString對(duì)象
# 輸出的內(nèi)容不包括注釋符號(hào)
string='''
<p><!-- 這是注釋?zhuān)?--></p>
'''
sp=BeautifulSoup(string)
print(sp)
print(sp.p.string) # 去獲取標(biāo)簽中是文字

# 兩個(gè)常用函數(shù) 


# find_all() 搜索當(dāng)前tag的所有tag子節(jié)點(diǎn),并判斷是否符合給定的條件
# 返回結(jié)果是一個(gè)列,可以包含多個(gè)元素
print(soup.find_all('title'),end="\n-------\n")

#find() 直接返回第一個(gè)元素
print(soup.find("title"))

print(soup.find_all("title",lang="eng")) # 查找title標(biāo)簽 屬性lang=eng
print(soup.find_all("title",{"lang":"eng"})) # 結(jié)果同上
print(soup.find_all(["title","price"])) #獲取多個(gè)標(biāo)簽
print(soup.find_all("title",lang="eng")[0].get_text()) # 獲取文本


# 三大常見(jiàn)節(jié)點(diǎn)
#  子節(jié)點(diǎn) 一個(gè)Tag可能包含多個(gè)字符串或其他的tag，這些都是這個(gè)tag的子節(jié)點(diǎn)
#  父節(jié)點(diǎn) 配個(gè)tag或字符串都有父節(jié)點(diǎn)：被包含在某個(gè)tag中
#  兄弟節(jié)點(diǎn) 平級(jí)的節(jié)點(diǎn)
end="\n-------\n"
print(soup.book,end) # 獲取book節(jié)點(diǎn)信息
print(soup.book.contents,end) # 獲取book下的所有子節(jié)點(diǎn)
print(soup.book.contents[1],end) # 獲取book下的所有子節(jié)點(diǎn)中的第一個(gè)節(jié)點(diǎn)

print(soup.book.children,end) # children 生成迭代器
for child in soup.book.children:
  print("===",child)
  
print(soup.title.parent,end)
print(soup.book.parent,end)
for parent in soup.title.parents: #注意parent和parents區(qū)別
  print("===",parent.name)
  
print(soup.title.next_sibling,end) # 獲取該節(jié)點(diǎn)的下一個(gè)兄弟節(jié)點(diǎn)
print(soup.title.previous_sibling,end) # 獲取該節(jié)點(diǎn)的上一個(gè)兄弟節(jié)點(diǎn)
print(soup.title.next_siblings,end) # 獲取該節(jié)點(diǎn)的全部兄弟節(jié)點(diǎn)
for i in soup.title.next_siblings: 
  print("===",i)