php使用curl和正則表達式抓取網(wǎng)頁數(shù)據(jù)示例
利用curl和正則表達式做的一個針對磨鐵中文網(wǎng)非vip章節(jié)的小說抓取器，支持輸入小說ID下載小說。
依賴項：curl
可以簡單的看下，里面用到了curl ,正則表達式，ajax等技術(shù)，適合新手看看。在本地測試，必須保證聯(lián)網(wǎng)并且確保php開啟curl的mode
SpiderTools.class.php
<?php
session_start();
//封裝成類 開啟這些自動抓取文章
#header("Refresh:30;http://www.test.com:8080");
class SpiderTools{
//////////////////////////////////////////////////////////////////////////////////////////////////////////
/*傳入文章ID 解析出文章標題*/
//////////////////////////////////////////////////////////////////////////////////////////////////////////
public function getBookNameById($aid){
//初始化curl
$ch= curl_init();
//url
$url='http://www.motie.com/book/'.$aid;
if(is_numeric($aid)){
//正則表達式匹配
$ru="/<h1\sclass=\"p-title\">\s*<a\shref=\"\/book\/\d+\">(.*)\s*<\/a>\s*<\/h1>/";
}
else{
//<title>喪尸爆發(fā)之全家求生路_第一章 喪尸爆發(fā) 為吾友愛樂兒更新~_磨鐵</title>
$ru="/<title>(.*)<\/title>/";
}
//設(shè)置選項，包括URL
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自動輸出內(nèi)容
curl_setopt($ch, CURLOPT_HEADER, 0);//不返回頭部信息
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0);
//執(zhí)行curl
$output = curl_exec($ch);
//錯誤提示
if(curl_exec($ch) === false){
die(curl_error($ch));
}
// 檢查是否有錯誤發(fā)生
if(curl_errno($ch)){
echo 'Curl error: ' . curl_error($ch);
}
//釋放curl句柄
curl_close($ch);
$arr=array();
preg_match_all($ru,$output,$arr);
return $arr[1][0];
}
//////////////////////////////////////////////////////////////////////////////////////////////////////////
/*傳入文章ID 解析文章內(nèi)容*/
//////////////////////////////////////////////////////////////////////////////////////////////////////////
public function getBookContextById($aid){
//開始解析文章
$ids=array();
$ids=explode("_",$aid);
$titleId=trim($ids[0]);
$aticleId=trim($ids[1]);
$ch= curl_init();
$ru="/<div class=\"page-content\">[\s\S]*<pre ondragstart=\"return false\" oncopy=\"return false;\" oncut=\"return false;\" oncontextmenu=\"return false\" class=\"note\" id=\"html_content_\d*\">[\s\S]*(.*)<img src=\"\/ajax\/chapter\/$titleId\/$aticleId\" class=\"hidden\" \/><\/pre>/ui";
$url='http://www.motie.com/book/'.$aid;
//正則表達式匹配
//設(shè)置選項，包括URL
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自動輸出內(nèi)容
curl_setopt($ch, CURLOPT_HEADER, 0);//不返回頭部信息
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0);
//執(zhí)行curl
$output = curl_exec($ch);
//錯誤提示
if(curl_exec($ch) === false){
die(curl_error($ch));
}
// 檢查是否有錯誤發(fā)生
if(curl_errno($ch)){
echo 'Curl error: ' . curl_error($ch);
}
$arr=array();
$arr2=array();
preg_match_all($ru,$output,$arr);
curl_close($ch);
#var_dump($arr);
$s=$arr[0][0];
$s=substr($s,180);
$arr2=explode("<img",$s);
return trim($arr2[0]);
}
//////////////////////////////////////////////////////////////////////////////////////////////////////////
/*靜態(tài)方法 @生成小說文件 可以直接調(diào)用 */
//////////////////////////////////////////////////////////////////////////////////////////////////////////
public static function createBookById($id){
if(!is_numeric($id)){
echo "<br/>INIT BEGIN START WRITE!";
$st=new self();
$cons=$st->getBookContextById($id);
$title=$st->getBookNameById($id);
$cons=trim($cons);
$t=explode(" ",$title);
//構(gòu)造目錄
$dir=array();
$dir=explode("_",$t[0]);
$wzdir=$dir[0]; //書名稱 作為目錄名稱
$wzchapter=$dir[1]; //第幾章
//創(chuàng)建目錄
$wzdir2=iconv("UTF-8", "GBK", $wzdir);//目錄編碼 注意這里保留對$wzdir字符串的引用，用來構(gòu)造文件名，不能用此處，防止二次編碼
if(!file_exists($wzdir2)){
mkdir($wzdir2); //創(chuàng)建目錄
}
//構(gòu)造文件名
$wztitle="./".$wzdir."/"."$t[0]".".txt";
//保證保存的文件名稱不是亂碼
$wztitle=iconv("UTF-8", "GBK", $wztitle);
$f=fopen($wztitle,"w+");
fwrite($f,$cons);
echo "<font color='green'>$wzdir </font>".$wzchapter."<font color='red'>寫入成功</font>";
fclose($f);
}
else{
$ids=self::getBookIdsById($id);
//這里服務(wù)器可能會掉線，所以最好用session記錄循環(huán)
#for($i=$_SESSION["$id"."_fid"];$i<=count($ids);$_SESSION["$id"."_fid"]++,$i++){
#self::createBookById($id."_".$ids[$_SESSION["$id"."_fid"]++]);//構(gòu)造id
#}
for($i=$_SESSION["$id"."_fid"];$i<=count($ids);$_SESSION["$id"."_fid"]++,$i++){
self::createBookById($id."_".$ids[$i]);//構(gòu)造id
}
#echo "<hr/><hr/><br/><h1>寫入工作全部完成</h1>";
#echo $id."_".$ids[0]."<br/>";
#var_dump($ids);
}
}
/*
獲取小說的所有ID
@param $id 文章ID
@return array;
*/
public static function getBookIdsById($aid){
$ch= curl_init();
$url='http://www.motie.com/book/'.$aid."/chapter";
//注意這里的?可以獲取最少匹配項
$ru='/[\s\S]*?<li class=\"\" createdate=\"\d{4}\-\d{2}\-\d{2} \d{2}:\d{2}:\d{2}\">[\s\S]*?<a href=\"\/book\/'.$aid.'_(\d*?)\"\s{1}>.*?<\/a>.*?/u';//正則表達式匹配
//設(shè)置選項，包括URL
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自動輸出內(nèi)容
curl_setopt($ch, CURLOPT_HEADER, 0);//不返回頭部信息
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0);
//執(zhí)行curl
$output = curl_exec($ch);
// 檢查是否有錯誤發(fā)生
if(curl_errno($ch)){
echo 'Curl error: ' . curl_error($ch);
}
//釋放curl句柄
curl_close($ch);
$arr=array();
preg_match_all($ru,$output,$arr,PREG_PATTERN_ORDER);
return $arr[1];
}
}
?>
getinfo.php
<?php
session_start();
require_once("SpiderTools.class.php");
if($_REQUEST["bid"]){
if(is_numeric($_REQUEST["bid"])){
SpiderTools::createBookById(trim($_REQUEST["bid"]));
}
else{
echo "<br/>請輸入正確的文章ID<br/>";
}
}
?>
index.html
<html>
<head><meta charset="utf-8"/></head>
<title>下載小說啦</title>
<body>
<h1>輸入磨鐵中文網(wǎng)你想看到的小說ID號就可以下載小說啦</h1>
<form method="get" action="getinfo.php">
<input type="text" id="myid" name="myid" value=""/>
<input type="button" value="生成小說" onclick="createbook();"/>
</form>
<div id="info" style="background:black;height:500px;width:1067px;overflow:scroll;color:white">
</div>
<!-----AJAX------>
<script language="javascript">
var xmlHttp;
function createbook()
{
xmlHttp=GetXmlHttpObject()
if (xmlHttp==null)
{
alert ("瀏覽器不支持ajax")
return
}
var bookid=document.getElementById("myid").value
var url="getinfo.php"
url=url+"?bid="+bookid;
url=url+"&sid="+Math.random()
xmlHttp.onreadystatechange=stateChanged
xmlHttp.open("GET",url,true)
xmlHttp.send(null)
}
function stateChanged()
{
if(xmlHttp.readyState==1){
document.getElementById("info").innerHTML="正在準備工作，請耐心點哦~^_^~<img src=\"img/1.gif\" /><br/>";
}
if(xmlHttp.readyState==2){
document.getElementById("info").innerHTML="正在聯(lián)系服務(wù)器，這可能需要一點時間啦^><img src=\"img/2.gif\" /><^<br/>";
}
if(xmlHttp.readyState==3){
document.getElementById("info").innerHTML="正在解析數(shù)據(jù)<img src=\"img/3.gif\" /><br/>";
}
if (xmlHttp.readyState==4 || xmlHttp.readyState=="complete")
{
document.getElementById("info").innerHTML=xmlHttp.responseText;
//xmlHttp.abort();
}
}
function GetXmlHttpObject()
{
var xmlHttp=null;
try
{
// Firefox, Opera 8.0+, Safari
xmlHttp=new XMLHttpRequest();
}
catch (e)
{
//Internet Explorer
try
{
xmlHttp=new ActiveXObject("Msxml2.XMLHTTP");
}
catch (e)
{
xmlHttp=new ActiveXObject("Microsoft.XMLHTTP");
}
}
return xmlHttp;
}
</script>
</body>
</html>
PS：關(guān)于正則，這里再為大家推薦2款本站的正則表達式在線工具供大家參考使用（包括正則生成、匹配、驗證等功能）：
JavaScript正則表達式在線測試工具：http://tools.jb51.net/regex/javascript
正則表達式在線生成工具：http://tools.jb51.net/regex/create_reg
- 一個PHP實現(xiàn)的輕量級簡單爬蟲
- PHP代碼實現(xiàn)爬蟲記錄——超管用
- php 向訪客和爬蟲顯示不同的內(nèi)容
- php IIS日志分析搜索引擎爬蟲記錄程序
- PHP爬蟲之百萬級別知乎用戶數(shù)據(jù)爬取與分析
- php與python實現(xiàn)的線程池多線程爬蟲功能示例
- 利用php抓取蜘蛛爬蟲痕跡的示例代碼
- PHP實現(xiàn)采集抓取淘寶網(wǎng)單個商品信息
- PHP curl實現(xiàn)抓取302跳轉(zhuǎn)后頁面的示例
- PHP CURL模擬登錄新浪微博抓取頁面內(nèi)容 基于EaglePHP框架開發(fā)
- PHP多線程抓取網(wǎng)頁實現(xiàn)代碼
- PHPCrawl爬蟲庫實現(xiàn)抓取酷狗歌單的方法示例
相關(guān)文章
這篇文章主要介紹了ThinkPHP公共配置文件與各自項目中配置文件組合的方法,涉及array_merge函數(shù)將多個數(shù)組合并的方法,是ThinkPHP項目開發(fā)中非常實用的技巧,需要的朋友可以參考下2014-11-11
ThinkPHP中url隱藏入口文件后接收alipay傳值的方法
這篇文章主要介紹了ThinkPHP中url隱藏入口文件后接收alipay傳值的方法,可實現(xiàn)針對第三方接口的URL地址中的?進行轉(zhuǎn)換處理,是非常實用的技巧,需要的朋友可以參考下2014-12-12![100多行PHP代碼實現(xiàn)socks5代理服務(wù)器[2]](http://img.jbzj.com/images/xgimg/bcimg2.png)
100多行PHP代碼實現(xiàn)socks5代理服務(wù)器[2]
這篇文章主要介紹了100多行PHP代碼實現(xiàn)socks5代理服務(wù)器,需要的朋友可以參考下2016-05-05
laravel通過創(chuàng)建自定義artisan make命令來新建類文件詳解
Laravel通過Artisan提供了強大的控制臺命令來處理非瀏覽器業(yè)務(wù)邏輯。下面這篇文章主要給大家介紹了關(guān)于laravel如何通過創(chuàng)建自定義artisan make命令來新建類文件的相關(guān)資料，需要的朋友可以參考借鑒，下面來一起看看吧。2017-08-08
php求正負數(shù)數(shù)組中連續(xù)元素最大值示例
問題是給出數(shù)組，該數(shù)組由正負數(shù)字組成，找出該數(shù)組中連續(xù)元素組成的子數(shù)組的最大值。下面是PHP實現(xiàn)的示例,需要的朋友可以參考下2014-04-04
有時候我們需要使用php獲取網(wǎng)頁中的圖片并保存下來，這里我們可以使用preg_match_all用來匹配圖片地址，需要的朋友可以參考下2013-02-02
這篇文章主要介紹了Symfony2開發(fā)之控制器用法,結(jié)合實例形式分析了Symfony2控制器的簡單使用技巧,需要的朋友可以參考下2016-02-02
輸入要搜索的文字時在搜索框下方提示相關(guān)的搜索信息實現(xiàn)方法，就是自動完成效果2012-02-02
PHP與Ajax相結(jié)合實現(xiàn)登錄驗證小Demo
AJAX即“Asynchronous Javascript And XML”（異步JavaScript和XML），是指一種創(chuàng)建交互式網(wǎng)頁應(yīng)用的網(wǎng)頁開發(fā)技術(shù)。接下來通過本文給大家分享PHP與Ajax相結(jié)合實現(xiàn)登錄驗證小Demo，對php ajax實現(xiàn)登錄驗證相關(guān)知識感興趣的朋友一起學(xué)習(xí)吧2016-03-03
本文章來給各位同學(xué)介紹一下關(guān)于Php CURL模擬登陸論壇并采集數(shù)據(jù)實例,如果你對利用curl模擬登錄功能有興趣可進入?yún)⒖肌?/div> 2015-05-05最新評論