java爬蟲之使用HttpClient模擬瀏覽器發(fā)送請求方法詳解

更新時間：2020年07月27日 09:25:35 作者：艾福

這篇文章主要介紹了java爬蟲之使用HttpClient模擬瀏覽器發(fā)送請求方法詳解，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧

0. 摘要

0.1 添加依賴

<dependency>
  <groupId>org.apache.httpcomponents</groupId>
  <artifactId>httpclient</artifactId>
  <version>4.5.2</version>
</dependency>

0.2 代碼

//1. 打開瀏覽器 創(chuàng)建httpclient對象
CloseableHttpClient httpClient = HttpClients.createDefault();
//2. 輸入網址
HttpGet httpGet = new HttpGet("http://www.baidu.com");
//3. 發(fā)送請求
CloseableHttpResponse httpResponse = httpClient.execute(httpGet);
//4. 響應結果
HttpEntity httpEntity = httpResponse.getEntity();
//5. 解析結果
String result = EntityUtils.toString(httpEntity, "utf-8");
System.out.println(result);

1. 實操

1.1 添加依賴

1.1.1 找到 pom.xml 添加依賴

1.1.2 依賴代碼

<dependency>
  <groupId>org.apache.httpcomponents</groupId>
  <artifactId>httpclient</artifactId>
  <version>4.5.2</version>
</dependency>

1.2 添加 TestHttpClient 類

1.2.1 創(chuàng)建類文件 com.aifu.TestHttpClient

1.2.2 添加代碼

public static void main(String[] args) throws IOException {
  //1. 打開瀏覽器 創(chuàng)建httpclient對象
  CloseableHttpClient httpClient = HttpClients.createDefault();
  //2. 輸入網址
  HttpGet httpGet = new HttpGet("http://www.baidu.com");
  //3. 發(fā)送請求
  CloseableHttpResponse httpResponse = httpClient.execute(httpGet);
  //4. 響應結果
  HttpEntity httpEntity = httpResponse.getEntity();
  //5. 解析結果
  String result = EntityUtils.toString(httpEntity, "utf-8");
  System.out.println(result);
}

1.3 運行

1.3.1 點擊綠標運行或者快捷鍵 ctrl + alt +F10

到此這篇關于java爬蟲之使用HttpClient模擬瀏覽器發(fā)送請求方法詳解的文章就介紹到這了,更多相關java爬蟲HttpClient模擬瀏覽器發(fā)送請求內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

詳解openfeign集成spring?cloud?loadbalancer實現負載均衡流程
這篇文章主要介紹了openfeign集成spring?cloud?loadbalancer實現負載均衡流程詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪
2023-07-07
Struts2實現上傳單個文件功能
這篇文章主要為大家詳細介紹了Struts2實現上傳單個文件功能，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2017-06-06
Spring MVC 注解自動掃描失效原因分析
這篇文章主要介紹了Spring MVC 注解自動掃描失效原因分析,非常不錯，具有參考借鑒價值，需要的朋友可以參考下
2016-07-07
Java中構造器內部的多態(tài)方法的行為實例分析
這篇文章主要介紹了Java中構造器內部的多態(tài)方法的行為,結合實例形式分析了java構造器內部多態(tài)方法相關原理、功能及操作技巧,需要的朋友可以參考下
2019-10-10
springboot自動掃描添加的BeanDefinition源碼實例詳解
這篇文章主要給大家介紹了關于springboot自動掃描添加的BeanDefinition的相關資料,文中通過實例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2022-02-02
兩天沒解決的問題chatgpt用了5秒搞定隱藏bug
這篇文章主要為大家描述了我用了兩天沒解決的問題chatgpt用了5秒搞定的全程介紹，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪
2023-04-04
Springboot中的默認日志框架配置詳解
這篇文章主要介紹了Springboot中的默認日志框架配置詳解,spring boot日志默認會輸出到控制臺,所以并不需要我們做過多配置,但不過不喜歡控制臺默認日志格式,則可以使用logging.pattern.console屬性配置,需要的朋友可以參考下
2023-09-09
淺談java中異步多線程超時導致的服務異常
下面小編就為大家?guī)硪黄獪\談java中異步多線程超時導致的服務異常。小編覺得挺不錯的，現在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2016-06-06
SpringBoot操作Jedis案例代碼
這篇文章主要介紹了SpringBoot操作Jedis案例代碼,代碼部分包括pom依賴、配置相關參數、JedisPool的設置,代碼簡單易懂對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
2023-08-08
Idea中git的使用小結
這篇文章主要介紹了Idea中git的使用小結,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
2024-01-01