利用PHP抓取百度閱讀的方法示例
前言
這篇文章主要介紹的是,如何利用PHP抓取百度閱讀的方法,下面話不多說(shuō),來(lái)一起看看吧。
抓取方法如下
首先在瀏覽器里打開閱讀頁(yè)面,查看源代碼后發(fā)現(xiàn)小說(shuō)的內(nèi)容并不是直接寫在頁(yè)面里的,也就是說(shuō)小說(shuō)的內(nèi)容是通過(guò)異步加載而來(lái)的。
于是將chrome的開發(fā)者工具切到network一欄,刷新閱讀頁(yè)面,主要關(guān)注的是XHR和script兩個(gè)分類下。
經(jīng)過(guò)排查,發(fā)現(xiàn)在script分類下有個(gè)jsonp請(qǐng)求比較像是小說(shuō)內(nèi)容,請(qǐng)求的地址是
http://wenku.baidu.com/content/49422a3769eae009581becba?m=8ed1dedb240b11bf0731336eff95093f&type=json&cn=1&_=1&t=1423309200&callback=wenku7
返回的是一個(gè)jsonp
字符串,然后我發(fā)現(xiàn),如果把地址里面的callback=wenku7
去掉,返回的就是一個(gè)json
字符串,這樣解析起來(lái)就方便不少,可以直接在php里面轉(zhuǎn)換成數(shù)組。
再來(lái)分析一下返回?cái)?shù)據(jù)的結(jié)構(gòu),返回的json
字符串之后是一個(gè)樹狀的結(jié)構(gòu),每個(gè)節(jié)點(diǎn)都有一個(gè)t屬性和c屬性,t屬性用來(lái)指明這個(gè)節(jié)點(diǎn)的標(biāo)簽,比如h2 div等等,c屬性就是內(nèi)容了,但也有兩種可能,一個(gè)是字符串,另一個(gè)是數(shù)組,數(shù)組的每個(gè)元素都是一個(gè)節(jié)點(diǎn)。
這種結(jié)構(gòu)最好解析了,用一個(gè)遞歸就搞定
最終代碼如下:
<?php class BaiduYuedu { protected $bookId; protected $bookToken; protected $cookie; protected $result; public function __construct($bookId, $bookToken, $cookie){ $this->bookId = $bookId; $this->bookToken = $bookToken; $this->cookie = $cookie; } public static function parseNode($node){ $str = ''; if(is_string($node['c'])){ $str .= $node['c']; }else if(is_array($node['c'])){ foreach($node['c'] as $d){ $str .= self::parseNode($d); } } switch($node['t']){ case 'h2': $str .= "\n\n"; break; case 'br': case 'div': case 'p': $str .= "\n"; break; case 'img': case 'span': break; case 'obj': $tmp = '(' . self::parseNode($node['data'][0]) . ')'; $str .= str_replace("\n", '', $tmp); break; default: trigger_error('Unkown type:'.$node['t'], E_USER_WARNING); break; } return $str; } public function get($page = 1){ echo "getting page {$page}...\n"; $ch = curl_init(); $url = sprintf('http://wenku.baidu.com/content/%s/?m=%s&type=json&cn=%d', $this->bookId, $this->token, $page); curl_setopt_array($ch, array( CURLOPT_URL => $url, CURLOPT_RETURNTRANSFER => 1, CURLOPT_HEADER => 0, CURLOPT_HTTPHEADER => array('Cookie: '. $this->cookie) )); $ret = json_decode(curl_exec($ch), true); curl_close($ch); $str = ''; if(!empty($ret)){ $str .= self::parseNode($ret); $str .= $this->get($page + 1); } return $str; } public function start(){ $this->result = $this->get(); } public function getResult(){ return $this->result; } public function saveTo($path){ if(empty($this->result)){ trigger_error('Result is empty', E_USER_ERROR); return; } file_put_contents($path, $this->result); echo "save to {$path}\n"; } } //使用示例 $yuedu = new BaiduYuedu('49422a3769eae009581becba', '8ed1dedb240b11bf0731336eff95093f', '你的百度域cookie'); $yuedu->start(); $yuedu->saveTo('result.txt');
這個(gè)類前兩個(gè)參數(shù)可以從小說(shuō)的介紹頁(yè)面獲得,第一個(gè)參數(shù)bookId
就是url
里ebook
后面跟著的字符串,第二個(gè)參數(shù)bookToken
在頁(yè)面源代碼搜索bdjsonUrl
,m
參數(shù)后面的那個(gè)字符串就是。
注:如果不傳入百度cookie
或者百度cookie
無(wú)效,則只能抓取免費(fèi)閱讀部分,要抓完整的內(nèi)容必須保證cookie
可以正常使用。
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了,希望本文的內(nèi)容對(duì)大家學(xué)習(xí)或者使用PHP能有一定的幫助,如果有疑問(wèn)大家可以留言交流。
- PHP網(wǎng)頁(yè)抓取之抓取百度貼吧郵箱數(shù)據(jù)代碼分享
- php下通過(guò)curl抓取yahoo boss 搜索結(jié)果的實(shí)現(xiàn)代碼
- PHP抓取淘寶商品的用戶曬單評(píng)論+圖片+搜索商品列表實(shí)例
- PHP統(tǒng)計(jì)nginx訪問(wèn)日志中的搜索引擎抓取404鏈接頁(yè)面路徑
- PHP實(shí)現(xiàn)采集抓取淘寶網(wǎng)單個(gè)商品信息
- PHP的cURL庫(kù)功能簡(jiǎn)介 抓取網(wǎng)頁(yè)、POST數(shù)據(jù)及其他
- PHP實(shí)現(xiàn)抓取百度搜索結(jié)果頁(yè)面【相關(guān)搜索詞】并存儲(chǔ)到txt文件示例
相關(guān)文章
PHP中應(yīng)該避免使用同名變量(拆分臨時(shí)變量)
這篇文章主要介紹了PHP中應(yīng)該避免使用同名變量(拆分臨時(shí)變量),當(dāng)一個(gè)臨時(shí)變量被賦值多次時(shí),那么將其拆分成多個(gè),除非它是一個(gè)循環(huán)計(jì)數(shù)器,需要的朋友可以參考下2015-04-04解析zend studio中直接導(dǎo)入svn中的項(xiàng)目的方法步驟
本篇文章是對(duì)zend studio中直接導(dǎo)入svn中的項(xiàng)目的方法步驟進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下2013-06-06PHP正則表達(dá)式替換站點(diǎn)關(guān)鍵字鏈接后空白的解決方法
這篇文章主要介紹了PHP正則表達(dá)式替換站點(diǎn)關(guān)鍵字鏈接后空白的問(wèn)題解決,需要的朋友可以參考下2014-09-09php基于dom實(shí)現(xiàn)讀取圖書xml格式數(shù)據(jù)的方法
這篇文章主要介紹了php基于dom實(shí)現(xiàn)讀取圖書xml格式數(shù)據(jù)的方法,涉及php基于dom針對(duì)xml格式文件的讀取操作相關(guān)技巧,需要的朋友可以參考下2017-02-02php include和require的區(qū)別深入解析
本篇文章是對(duì)php中include與require的區(qū)別進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下2013-06-06