關(guān)于Jsoup將相對路徑轉(zhuǎn)為絕對路徑的方法
自從使用 HttpClient 和 Jsoup 配合編寫了幾個簡單的入門爬蟲之后,發(fā)現(xiàn)對于絕對路徑的需求是很頻繁的,因為大部分的網(wǎng)頁都寫相對路徑,這樣是有好處的,但是爬蟲還是需要獲取絕對的路徑的。 通常我的處理方式是在獲取的相對路徑路徑前面,拼接一個根路徑。當是,這種方法只能適用于,相對路徑是相對于當前路徑的,如果相對路徑是相對于當前路徑的上一級或更上一級,那就不好處理了。
正好我昨天我碰到了這種相對路徑。我無意間發(fā)現(xiàn)原來 Jsoup 本身就提供了這個功能,但是我發(fā)現(xiàn)很多其他人的博客,雖然介紹了 Jsoup 通過相對路徑獲取絕對路徑的方法,但是都沒有介紹完全,為此我也是走了幾個坑,特意在此說明一下。
通過Jsoup將相對路徑轉(zhuǎn)為絕對路徑的方法
如果想要通過 attr 方法獲取到絕對路徑,必須同時使用這兩個方法。
Document org.jsoup.Jsoup.parse(String html, String baseUri); String org.jsoup.nodes.Node.attr(String attributeKey);
必須使用Jsoup 帶有 baseUri 參數(shù)的重載方法,如果只是用具有第一個參數(shù)的 方法,那么通過attr取絕對路徑時,獲取的內(nèi)容為空!這是一個坑,但是其它人的博客都沒有介紹這一點。
Parameters:
html HTML to parse
baseUri The URL where the HTML was
retrieved from. Used to resolve relative URLs to absolute URLs, that
occurbefore the HTML declares a <base href> tag.
這里列出參數(shù)的注釋,第一個參數(shù)是需要解析的html文檔,第二個參數(shù)是這個html的url。用于將相對url解析為絕對url,即在HTML聲明標記之前發(fā)生。
注意: 這里的 baseUri 并不是網(wǎng)站的根路徑,它是指當前的html路徑。即當前相對路徑所在的html文檔的路徑,是相對路徑相對的那個路徑。 所以,如果填寫的是當前根路徑,那么最后獲取的絕對路徑也是有問題的。(也許是可以使用的,但是格式可能有問題。) 下面第二點,依賴于當前這個給定的 baseUri 參數(shù)。
attr 方法里面的一句話:
To get an absolute URL from an attribute that may be a relative URL, prefix the key with abs,which is a shortcut to the absUrl method.
E.g.: String url = a.attr(“abs:href”);
這句話的意思是從一個相對路徑種獲取一個絕對路徑,使用 abs 前綴,這是absUrl方法的快捷方式。
并且給了一個示例:
String url = a.attr("abs:href");
所以,如果想要獲取到絕對路徑的話,需要在參數(shù)前面加上 abs:
。 這里 abs 就是 absolute 的縮寫,它的意思就是絕對的。
但是,如果不去使用帶有上面第一點提到的那個重載的 parse 方法的話,這種方法是取不到絕對路徑的,甚至是取不到路徑。我在這里踩了一個坑。
示例
這里以一個簡單的例子說明: 代碼:
package ahnu.news; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; public class JsoupPathTest { public static void main(String[] args) { String html = "<html>" + "<head></head>" + "<body>" + "<a href=\"../dragon/love/you\"></a>" + "</body>" + "</html>"; System.out.println("正確的用法"); Document doc = Jsoup.parse(html, "http://example/index/loveyou/"); Element aTag = doc.getElementsByTag("a").first(); //獲取 a 標簽,只有一個,取第一個即可。 System.out.println(aTag); String relativePath = aTag.attr("href"); //獲取相對路徑 String absolutePath = aTag.attr("abs:href"); //獲取絕對路徑 System.out.println("相對路徑:" + relativePath); System.out.println("絕對路徑:" + absolutePath); System.out.println("---------------------分割線---------------------"); System.out.println("錯誤的用法"); doc = Jsoup.parse(html); aTag = doc.getElementsByTag("a").first(); //獲取 a 標簽,只有一個,取第一個即可。 System.out.println(aTag); relativePath = aTag.attr("href"); //獲取相對路徑 absolutePath = aTag.attr("abs:href"); //獲取絕對路徑 System.out.println("相對路徑:" + relativePath); System.out.println("絕對路徑:" + absolutePath); } }
運行結(jié)果:
注意: 1.在解析html的時候,必須添加 baseUri 參數(shù),否則獲取絕對路徑時,反而什么都得不到,這是一個坑,注意防范。 2.希望其他人貼方法的時候,可以附帶代碼的執(zhí)行結(jié)果,或者如果是轉(zhuǎn)載的別人的博客,也可以運行一下代碼,不然如果他錯了,你也轉(zhuǎn)載,那就是在傳播錯誤了。 3.英語還是很重要的,關(guān)鍵時候可以幫助自己理解api的正確用法。
到此這篇關(guān)于關(guān)于Jsoup將相對路徑轉(zhuǎn)為絕對路徑的方法的文章就介紹到這了,更多相關(guān)Jsoup獲取絕對路徑內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Java中Thread和Runnable創(chuàng)建線程的方式對比
本文主要介紹了Java中Thread和Runnable創(chuàng)建線程的方式對比,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-07-07