crawler4j抓取頁面使用jsoup解析html時的解決方法
更新時間：2014年04月08日 09:11:07 作者：
crawler4j對response沒有指定編碼的頁面，解析成亂碼，很讓人煩惱,下面給出解決方法,需要的朋友可以參考下
crawler4j對已有編碼的頁面抓取效果不錯，用jsoup解析，很多會jquery的程序員都可以操作。但是，crawler4j對response沒有指定編碼的頁面，解析成亂碼，很讓人煩惱。在找了苦悶之中，無意間發(fā)現(xiàn)一年代已久的博文，可以解決問題，修改 Page.load() 中的 contentData 編碼即可，這讓我心中頓時舒坦了很多，接下來的問題都引刃而解了。
復(fù)制代碼 代碼如下:
public void load(HttpEntity entity) throws Exception {
contentType = null;
Header type = entity.getContentType();
if (type != null) {
contentType = type.getValue();
}
contentEncoding = null;
Header encoding = entity.getContentEncoding();
if (encoding != null) {
contentEncoding = encoding.getValue();
}
Charset charset = ContentType.getOrDefault(entity).getCharset();
if (charset != null) {
contentCharset = charset.displayName();
}else{
contentCharset = "utf-8";
}
//源碼
//contentData = EntityUtils.toByteArray(entity);
//修改后的代碼
contentData = EntityUtils.toString(entity, Charset.forName("gbk")).getBytes();
}
相關(guān)文章
java使用Logback配置輸出日志內(nèi)容到文件示例代碼
這篇文章主要介紹了java?Logback輸出日志內(nèi)容到文件,要將logger.info的信息輸出到文件，您可以使用Logback配置，本文通過實例代碼給大家介紹的非常詳細(xì)，需要的朋友可以參考下2023-09-09
這篇文章主要介紹了使用idea插件進(jìn)行java代碼生成的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-10-10
這篇文章主要介紹了JAVA類變量及類方法代碼實例詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2022-05-05
本文主要介紹了Ajax實現(xiàn)搜索引擎自動補(bǔ)全功能的實例解析。具有很好的參考價值。下面跟著小編一起來看下吧2017-04-04
這篇文章主要介紹了Java實現(xiàn)的猴子吃桃問題算法,簡單描述了猴子吃桃問題并結(jié)合實例形式給出了java解決猴子吃桃問題的具體實現(xiàn)技巧,需要的朋友可以參考下2017-10-10
詳解mybatis-plus實體類中字段和數(shù)據(jù)庫中字段名不對應(yīng)解決辦法
這篇文章主要介紹了詳解mybatis-plus實體類中字段和數(shù)據(jù)庫中字段名不對應(yīng)解決辦法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03
這篇文章主要為大家詳細(xì)介紹了Javaweb使用Maven工具與Tomcat的方法，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-03-03
這篇文章主要介紹了Mybatis Trim標(biāo)簽用法,非常不錯，具有參考借鑒價值,需要的朋友可以參考下2017-05-05
為了提高系統(tǒng)的安全性，防止接口被暴力刷新，驗證碼是個好的手段，圖片驗證碼沒有短信驗證碼的費(fèi)用，其是個人開發(fā)者學(xué)習(xí)的重點(diǎn)，這篇文章主要介紹了基于Hutool的圖片驗證碼功能模塊實現(xiàn),需要的朋友可以參考下2022-10-10
Spring Boot + Vue 前后端分離開發(fā)之前端網(wǎng)絡(luò)請求封裝與配置
這篇文章主要介紹了Spring Boot + Vue 前后端分離開發(fā)之前端網(wǎng)絡(luò)請求封裝與配置方法，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值 ,需要的朋友可以參考下2019-05-05