解析和遍歷一個(gè)HTML文檔

如何解析一個(gè)HTML文檔：

其解析器能夠盡最大可能從你提供的HTML文檔來(lái)創(chuàng)見(jiàn)一個(gè)干凈的解析結(jié)果，無(wú)論HTML的格式是否完整。比如它可以處理：

1、沒(méi)有關(guān)閉的標(biāo)簽 (比如： <p>Lorem <p>Ipsum parses to <p>Lorem</p> <p>Ipsum</p>)
2、隱式標(biāo)簽 (比如. 它可以自動(dòng)將 <td>Table data</td>包裝成<table><tr><td>?)
3、創(chuàng)建可靠的文檔結(jié)構(gòu)（html標(biāo)簽包含head 和 body，在head只出現(xiàn)恰當(dāng)?shù)脑兀?/P>

一個(gè)文檔的對(duì)象模型

1、文檔由多個(gè)Elements和TextNodes組成 (以及其它輔助nodes).
2、其繼承結(jié)構(gòu)如下：Document繼承Element繼承Node. TextNode繼承 Node.
3、一個(gè)Element包含一個(gè)子節(jié)點(diǎn)集合，并擁有一個(gè)父Element。他們還提供了一個(gè)唯一的子元素過(guò)濾列表。

從一個(gè)URL加載一個(gè)Document

存在問(wèn)題
你需要從一個(gè)網(wǎng)站獲取和解析一個(gè)HTML文檔，并查找其中的相關(guān)數(shù)據(jù)。你可以使用下面解決方法：

解決方法
使用 Jsoup.connect(String url)方法:

說(shuō)明
connect(String url) 方法創(chuàng)建一個(gè)新的 Connection, 和 get() 取得和解析一個(gè)HTML文件。如果從該URL獲取HTML時(shí)發(fā)生錯(cuò)誤，便會(huì)拋出 IOException，應(yīng)適當(dāng)處理。

Connection 接口還提供一個(gè)方法鏈來(lái)解決特殊請(qǐng)求，具體如下：

這個(gè)方法只支持Web URLs (http和https 協(xié)議); 假如你需要從一個(gè)文件加載，可以使用parse(File in, String charsetName) 代替。

從一個(gè)文件加載一個(gè)文檔

問(wèn)題
在本機(jī)硬盤上有一個(gè)HTML文件，需要對(duì)它進(jìn)行解析從中抽取數(shù)據(jù)或進(jìn)行修改。

辦法
可以使用靜態(tài) Jsoup.parse(File in, String charsetName, String baseUri) 方法：

說(shuō)明
parse(File in, String charsetName, String baseUri) 這個(gè)方法用來(lái)加載和解析一個(gè)HTML文件。如在加載文件的時(shí)候發(fā)生錯(cuò)誤，將拋出IOException，應(yīng)作適當(dāng)處理。
baseUri 參數(shù)用于解決文件中URLs是相對(duì)路徑的問(wèn)題。如果不需要可以傳入一個(gè)空的字符串。
另外還有一個(gè)方法parse(File in, String charsetName) ，它使用文件的路徑做為 baseUri。 這個(gè)方法適用于如果被解析文件位于網(wǎng)站的本地文件系統(tǒng)，且相關(guān)鏈接也指向該文件系統(tǒng)。

使用DOM方法來(lái)遍歷一個(gè)文檔

問(wèn)題
你有一個(gè)HTML文檔要從中提取數(shù)據(jù)，并了解這個(gè)HTML文檔的結(jié)構(gòu)。

方法
將HTML解析成一個(gè)Document之后，就可以使用類似于DOM的方法進(jìn)行操作。示例代碼：

說(shuō)明
Elements這個(gè)對(duì)象提供了一系列類似于DOM的方法來(lái)查找元素，抽取并處理其中的數(shù)據(jù)。具體如下：
查找元素
getElementById(String id)
getElementsByTag(String tag)
getElementsByClass(String className)
getElementsByAttribute(String key) (and related methods)
Element siblings: siblingElements(), firstElementSibling(), lastElementSibling();nextElementSibling(), previousElementSibling()
Graph: parent(), children(), child(int index)

元素?cái)?shù)據(jù)
attr(String key)獲取屬性attr(String key, String value)設(shè)置屬性
attributes()獲取所有屬性
id(), className() and classNames()
text()獲取文本內(nèi)容text(String value) 設(shè)置文本內(nèi)容
html()獲取元素內(nèi)HTMLhtml(String value)設(shè)置元素內(nèi)的HTML內(nèi)容
outerHtml()獲取元素外HTML內(nèi)容
data()獲取數(shù)據(jù)內(nèi)容（例如：script和style標(biāo)簽)
tag() and tagName()

操作HTML和文本
append(String html), prepend(String html)
appendText(String text), prependText(String text)
appendElement(String tagName), prependElement(String tagName)
html(String value)

使用選擇器語(yǔ)法來(lái)查找元素
問(wèn)題
你想使用類似于CSS或jQuery的語(yǔ)法來(lái)查找和操作元素。

方法
可以使用Element.select(String selector) 和 Elements.select(String selector) 方法實(shí)現(xiàn)：

說(shuō)明
jsoup elements對(duì)象支持類似于CSS (或jquery)的選擇器語(yǔ)法，來(lái)實(shí)現(xiàn)非常強(qiáng)大和靈活的查找功能。.
這個(gè)select 方法在Document, Element,或Elements對(duì)象中都可以使用。且是上下文相關(guān)的，因此可實(shí)現(xiàn)指定元素的過(guò)濾，或者鏈?zhǔn)竭x擇訪問(wèn)。
Select方法將返回一個(gè)Elements集合，并提供一組方法來(lái)抽取和處理結(jié)果。

Selector選擇器概述
tagname: 通過(guò)標(biāo)簽查找元素，比如：a
ns|tag: 通過(guò)標(biāo)簽在命名空間查找元素，比如：可以用 fb|name 語(yǔ)法來(lái)查找 <fb:name> 元素
#id: 通過(guò)ID查找元素，比如：#logo
.class: 通過(guò)class名稱查找元素，比如：.masthead
[attribute]: 利用屬性查找元素，比如：[href]
[^attr]: 利用屬性名前綴來(lái)查找元素，比如：可以用[^data-] 來(lái)查找?guī)в蠬TML5 Dataset屬性的元素
[attr=value]: 利用屬性值來(lái)查找元素，比如：[width=500]
[attr^=value], [attr$=value], [attr*=value]: 利用匹配屬性值開(kāi)頭、結(jié)尾或包含屬性值來(lái)查找元素，比如：[href*=/path/]
[attr~=regex]: 利用屬性值匹配正則表達(dá)式來(lái)查找元素，比如： img[src~=(?i)\.(png|jpe?g)]
*: 這個(gè)符號(hào)將匹配所有元素

Selector選擇器組合使用
el#id: 元素+ID，比如： div#logo
el.class: 元素+class，比如： div.masthead
el[attr]: 元素+class，比如： a[href]
任意組合，比如：a[href].highlight
ancestor child: 查找某個(gè)元素下子元素，比如：可以用.body p 查找在"body"元素下的所有p元素
parent > child: 查找某個(gè)父元素下的直接子元素，比如：可以用div.content > p 查找 p 元素，也可以用body > * 查找body標(biāo)簽下所有直接子元素
siblingA + siblingB: 查找在A元素之前第一個(gè)同級(jí)元素B，比如：div.head + div
siblingA ~ siblingX: 查找A元素之前的同級(jí)X元素，比如：h1 ~ p
el, el, el:多個(gè)選擇器組合，查找匹配任一選擇器的唯一元素，例如：div.masthead, div.logo

偽選擇器selectors
:lt(n): 查找哪些元素的同級(jí)索引值（它的位置在DOM樹(shù)中是相對(duì)于它的父節(jié)點(diǎn)）小于n，比如：td:lt(3) 表示小于三列的元素
:gt(n):查找哪些元素的同級(jí)索引值大于n，比如： div p:gt(2)表示哪些div中有包含2個(gè)以上的p元素
:eq(n): 查找哪些元素的同級(jí)索引值與n相等，比如：form input:eq(1)表示包含一個(gè)input標(biāo)簽的Form元素
:has(seletor): 查找匹配選擇器包含元素的元素，比如：div:has(p)表示哪些div包含了p元素
:not(selector): 查找與選擇器不匹配的元素，比如： div:not(.logo) 表示不包含 class=logo 元素的所有 div 列表
:contains(text): 查找包含給定文本的元素，搜索不區(qū)分大不寫，比如： p:contains(jsoup)
:containsOwn(text): 查找直接包含給定文本的元素
:matches(regex): 查找哪些元素的文本匹配指定的正則表達(dá)式，比如：div:matches((?i)login)
:matchesOwn(regex): 查找自身包含文本匹配指定正則表達(dá)式的元素
注意：上述偽選擇器索引是從0開(kāi)始的，也就是說(shuō)第一個(gè)元素索引值為0，第二個(gè)元素index為1等
可以查看Selector API參考來(lái)了解更詳細(xì)的內(nèi)容

從元素抽取屬性，文本和HTML

問(wèn)題
在解析獲得一個(gè)Document實(shí)例對(duì)象，并查找到一些元素之后，你希望取得在這些元素中的數(shù)據(jù)。

方法
要取得一個(gè)屬性的值，可以使用Node.attr(String key) 方法
對(duì)于一個(gè)元素中的文本，可以使用Element.text()方法
對(duì)于要取得元素或?qū)傩灾械腍TML內(nèi)容，可以使用Element.html(), 或 Node.outerHtml()方法
示例：

說(shuō)明
上述方法是元素?cái)?shù)據(jù)訪問(wèn)的核心辦法。此外還其它一些方法可以使用：

Element.id()
Element.tagName()
Element.className() and Element.hasClass(String className)
這些訪問(wèn)器方法都有相應(yīng)的setter方法來(lái)更改數(shù)據(jù).

示例程序: 獲取所有鏈接
這個(gè)示例程序?qū)⒄故救绾螐囊粋€(gè)URL獲得一個(gè)頁(yè)面。然后提取頁(yè)面中的所有鏈接、圖片和其它輔助內(nèi)容。并檢查URLs和文本信息。
運(yùn)行下面程序需要指定一個(gè)URLs作為參數(shù)