java實現(xiàn)爬取知乎用戶基本信息

更新時間：2016年05月24日 16:24:45 作者：臥顏沉默

這篇文章主要為大家介紹了一個基于JAVA的知乎爬蟲，抓取知乎用戶基本信息，感興趣的小伙伴們可以參考一下

本文實例為大家分享了一個基于JAVA的知乎爬蟲，抓取知乎用戶基本信息，基于HttpClient 4.5，供大家參考，具體內容如下
詳細內容：
抓取90W+用戶信息（基本上活躍的用戶都在里面）
大致思路：
1.首先模擬登錄知乎，登錄成功后將Cookie序列化到磁盤，不用以后每次都登錄（如果不模擬登錄，可以直接從瀏覽器塞入Cookie也是可以的）。
2.創(chuàng)建兩個線程池和一個Storage。一個抓取網(wǎng)頁線程池，負責執(zhí)行request請求，并返回網(wǎng)頁內容，存到Storage中。另一個是解析網(wǎng)頁線程池，負責從Storage中取出網(wǎng)頁內容并解析，解析用戶資料存入數(shù)據(jù)庫，解析該用戶關注的人的首頁，將該地址請求又加入抓取網(wǎng)頁線程池。一直循環(huán)下去。
3.關于url去重，我是直接將訪問過的鏈接md5化后存入數(shù)據(jù)庫，每次訪問前，查看數(shù)據(jù)庫中是否存在該鏈接。
到目前為止，抓了100W用戶了，訪問過的鏈接220W+?，F(xiàn)在抓取的用戶都是一些不太活躍的用戶了。比較活躍的用戶應該基本上也抓完了。
項目地址：https://github.com/wycm/mycrawler
實現(xiàn)代碼：

作者：臥顏沉默
鏈接：https://www.zhihu.com/question/36909173/answer/97643000
來源：知乎
著作權歸作者所有。商業(yè)轉載請聯(lián)系作者獲得授權，非商業(yè)轉載請注明出處。
 
 /**
  *
  * @param httpClient Http客戶端
  * @param context Http上下文
  * @return
  */
public boolean login(CloseableHttpClient httpClient, HttpClientContext context){
String yzm = null;
String loginState = null;
HttpGet getRequest = new HttpGet("https://www.zhihu.com/#signin");
HttpClientUtil.getWebPage(httpClient,context, getRequest, "utf-8", false);
HttpPost request = new HttpPost("https://www.zhihu.com/login/email");
List<NameValuePair> formParams = new ArrayList<NameValuePair>();
yzm = yzm(httpClient, context,"https://www.zhihu.com/captcha.gif?type=login");//肉眼識別驗證碼
formParams.add(new BasicNameValuePair("captcha", yzm));
formParams.add(new BasicNameValuePair("_xsrf", ""));//這個參數(shù)可以不用
formParams.add(new BasicNameValuePair("email", "郵箱"));
formParams.add(new BasicNameValuePair("password", "密碼"));
formParams.add(new BasicNameValuePair("remember_me", "true"));
UrlEncodedFormEntity entity = null;
try {
entity = new UrlEncodedFormEntity(formParams, "utf-8");
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
}
request.setEntity(entity);
loginState = HttpClientUtil.getWebPage(httpClient,context, request, "utf-8", false);//登錄
JSONObject jo = new JSONObject(loginState);
if(jo.get("r").toString().equals("0")){
System.out.println("登錄成功");
getRequest = new HttpGet("https://www.zhihu.com");
HttpClientUtil.getWebPage(httpClient,context ,getRequest, "utf-8", false);//訪問首頁
HttpClientUtil.serializeObject(context.getCookieStore(),"resources/zhihucookies");//序列化知乎Cookies，下次登錄直接通過該cookies登錄
return true;
}else{
System.out.println("登錄失敗" + loginState);
return false;
}
}
/**
  * 肉眼識別驗證碼
  * @param httpClient Http客戶端
  * @param context Http上下文
  * @param url 驗證碼地址
  * @return
  */
public String yzm(CloseableHttpClient httpClient,HttpClientContext context, String url){
HttpClientUtil.downloadFile(httpClient, context, url, "d:/test/", "1.gif",true);
Scanner sc = new Scanner(System.in);
String yzm = sc.nextLine();
return yzm;
}

效果圖：