php結(jié)合curl實(shí)現(xiàn)多線程抓取
更新時(shí)間：2015年07月09日 11:09:13 投稿：hebedich
PHP利用 Curl可以完成各種傳送文件操作，比如模擬瀏覽器發(fā)送GET，POST請(qǐng)求等等，然而因?yàn)閜hp語(yǔ)言本身不支持多線程，所以開(kāi)發(fā)爬蟲(chóng)程序效率并不高，因此經(jīng)常需要借助Curl Multi Functions 這個(gè)功能實(shí)現(xiàn)并發(fā)多線程的訪問(wèn)多個(gè)url地址以實(shí)現(xiàn)并發(fā)多線程抓取網(wǎng)頁(yè)或者下載文件
php結(jié)合curl實(shí)現(xiàn)多線程抓取
<?php
/*
curl 多線程抓取
*/
/**
* curl 多線程
*
* @param array $array 并行網(wǎng)址
* @param int $timeout 超時(shí)時(shí)間
* @return array
*/
function Curl_http($array,$timeout){
$res = array();
$mh = curl_multi_init();//創(chuàng)建多個(gè)curl語(yǔ)柄
$startime = getmicrotime();
foreach($array as $k=>$url){
$conn[$k]=curl_init($url);
curl_setopt($conn[$k], CURLOPT_TIMEOUT, $timeout);//設(shè)置超時(shí)時(shí)間
curl_setopt($conn[$k], CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; MSIE 5.01; Windows NT 5.0)');
curl_setopt($conn[$k], CURLOPT_MAXREDIRS, 7);//HTTp定向級(jí)別
curl_setopt($conn[$k], CURLOPT_HEADER, 0);//這里不要header，加塊效率
curl_setopt($conn[$k], CURLOPT_FOLLOWLOCATION, 1); // 302 redirect
curl_setopt($conn[$k],CURLOPT_RETURNTRANSFER,1);
curl_multi_add_handle ($mh,$conn[$k]);
}
//防止死循環(huán)耗死cpu 這段是根據(jù)網(wǎng)上的寫(xiě)法
do {
$mrc = curl_multi_exec($mh,$active);//當(dāng)無(wú)數(shù)據(jù)，active=true
} while ($mrc == CURLM_CALL_MULTI_PERFORM);//當(dāng)正在接受數(shù)據(jù)時(shí)
while ($active and $mrc == CURLM_OK) {//當(dāng)無(wú)數(shù)據(jù)時(shí)或請(qǐng)求暫停時(shí)，active=true
if (curl_multi_select($mh) != -1) {
do {
$mrc = curl_multi_exec($mh, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
}
}
foreach ($array as $k => $url) {
curl_error($conn[$k]);
$res[$k]=curl_multi_getcontent($conn[$k]);//獲得返回信息
$header[$k]=curl_getinfo($conn[$k]);//返回頭信息
curl_close($conn[$k]);//關(guān)閉語(yǔ)柄
curl_multi_remove_handle($mh , $conn[$k]); //釋放資源
}
curl_multi_close($mh);
$endtime = getmicrotime();
$diff_time = $endtime - $startime;
return array('diff_time'=>$diff_time,
'return'=>$res,
'header'=>$header
);
}
//計(jì)算當(dāng)前時(shí)間
function getmicrotime() {
list($usec, $sec) = explode(" ",microtime());
return ((float)$usec + (float)$sec);
}
//測(cè)試一下，curl 三個(gè)網(wǎng)址
$array = array(
"http://www.weibo.com/",
"http://www.renren.com/",
"http://www.qq.com/"
);
$data = Curl_http($array,'10');//調(diào)用
var_dump($data);//輸出
//如果POST的數(shù)據(jù)大于1024字節(jié)，curl并不會(huì)直接就發(fā)起POST請(qǐng)求
//發(fā)送請(qǐng)求時(shí)，header中包含一個(gè)空的Expect。curl_setopt($ch, CURLOPT_HTTPHEADER, array("Expect:"));
?>
我們?cè)賮?lái)看幾個(gè)例子
（1）下面這段代碼是實(shí)現(xiàn)抓取多個(gè)URL，然后將抓取的URL的頁(yè)面代碼寫(xiě)入指定的文件
$urls = array(
'http://chabaoo.cn/',
'http://www.google.com/',
'http://www.example.com/'
); // 設(shè)置要抓取的頁(yè)面URL
$save_to='/test.txt'; // 把抓取的代碼寫(xiě)入該文件
$st = fopen($save_to,"a");
$mh = curl_multi_init();
foreach ($urls as $i => $url) {
$conn[$i] = curl_init($url);
curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)");
curl_setopt($conn[$i], CURLOPT_HEADER ,0);
curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60);
curl_setopt($conn[$i], CURLOPT_FILE,$st); // 將爬取的代碼寫(xiě)入文件
curl_multi_add_handle ($mh,$conn[$i]);
} // 初始化
do {
curl_multi_exec($mh,$active);
} while ($active); // 執(zhí)行
foreach ($urls as $i => $url) {
curl_multi_remove_handle($mh,$conn[$i]);
curl_close($conn[$i]);
} // 結(jié)束清理
curl_multi_close($mh);
fclose($st);
（2）下面這段代碼和上面差不多意思，只不過(guò)這個(gè)地方是將獲得的代碼先放入變量，然后再將獲取到的內(nèi)容寫(xiě)入指定的文件
$urls = array(
'http://chabaoo.cn/',
'http://www.google.com/',
'http://www.example.com/'
);
$save_to='/test.txt'; // 把抓取的代碼寫(xiě)入該文件
$st = fopen($save_to,"a");
$mh = curl_multi_init();
foreach ($urls as $i => $url) {
$conn[$i] = curl_init($url);
curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)");
curl_setopt($conn[$i], CURLOPT_HEADER ,0);
curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60);
curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,true); // 不將爬取代碼寫(xiě)到瀏覽器，而是轉(zhuǎn)化為字符串
curl_multi_add_handle ($mh,$conn[$i]);
}
do {
curl_multi_exec($mh,$active);
} while ($active);
foreach ($urls as $i => $url) {
$data = curl_multi_getcontent($conn[$i]); // 獲得爬取的代碼字符串
fwrite($st,$data); // 將字符串寫(xiě)入文件
} // 獲得數(shù)據(jù)變量，并寫(xiě)入文件
foreach ($urls as $i => $url) {
curl_multi_remove_handle($mh,$conn[$i]);
curl_close($conn[$i]);
}
curl_multi_close($mh);
fclose($st);
（3）下面這段代碼實(shí)現(xiàn)的是利用 PHP 的 Curl Functions 實(shí)現(xiàn)并發(fā)多線程下載文件
$urls=array(
'http://chabaoo.cn/5w.zip',
'http://chabaoo.cn/5w.zip',
'http://chabaoo.cn/5w.zip'
);
$save_to='./home/';
$mh=curl_multi_init();
foreach($urls as $i=>$url){
$g=$save_to.basename($url);
if(!is_file($g)){
$conn[$i]=curl_init($url);
$fp[$i]=fopen($g,"w");
curl_setopt($conn[$i],CURLOPT_USERAGENT,"Mozilla/4.0(compatible; MSIE 7.0; Windows NT 6.0)");
curl_setopt($conn[$i],CURLOPT_FILE,$fp[$i]);
curl_setopt($conn[$i],CURLOPT_HEADER ,0);
curl_setopt($conn[$i],CURLOPT_CONNECTTIMEOUT,60);
curl_multi_add_handle($mh,$conn[$i]);
}
}
do{
$n=curl_multi_exec($mh,$active);
}while($active);
foreach($urls as $i=>$url){
curl_multi_remove_handle($mh,$conn[$i]);
curl_close($conn[$i]);
fclose($fp[$i]);
}
curl_multi_close($mh);$urls=array(
'http://chabaoo.cn/5w.zip',
'http://chabaoo.cn/5w.zip',
'http://chabaoo.cn/5w.zip'
);
$save_to='./home/';
$mh=curl_multi_init();
foreach($urls as $i=>$url){
$g=$save_to.basename($url);
if(!is_file($g)){
$conn[$i]=curl_init($url);
$fp[$i]=fopen($g,"w");
curl_setopt($conn[$i],CURLOPT_USERAGENT,"Mozilla/4.0(compatible; MSIE 7.0; Windows NT 6.0)");
curl_setopt($conn[$i],CURLOPT_FILE,$fp[$i]);
curl_setopt($conn[$i],CURLOPT_HEADER ,0);
curl_setopt($conn[$i],CURLOPT_CONNECTTIMEOUT,60);
curl_multi_add_handle($mh,$conn[$i]);
}
}
do{
$n=curl_multi_exec($mh,$active);
}while($active);
foreach($urls as $i=>$url){
curl_multi_remove_handle($mh,$conn[$i]);
curl_close($conn[$i]);
fclose($fp[$i]);
}
curl_multi_close($mh);
以上所述就是本文的全部?jī)?nèi)容了，希望大家能夠喜歡。
您可能感興趣的文章:
- php pthreads多線程的安裝與使用
- 使用pthreads實(shí)現(xiàn)真正的PHP多線程（需PHP5.3以上版本）
- PHP使用CURL實(shí)現(xiàn)多線程抓取網(wǎng)頁(yè)
- PHP多線程抓取網(wǎng)頁(yè)實(shí)現(xiàn)代碼
- php利用curl抓取新浪微博內(nèi)容示例
- PHP CURL模擬登錄新浪微博抓取頁(yè)面內(nèi)容 基于EaglePHP框架開(kāi)發(fā)
- PHP 抓取新浪讀書(shū)頻道的小說(shuō)并生成txt電子書(shū)的代碼
- PHP實(shí)現(xiàn)采集抓取淘寶網(wǎng)單個(gè)商品信息
- PHP實(shí)現(xiàn)抓取HTTPS內(nèi)容
- php使用pthreads v3多線程實(shí)現(xiàn)抓取新浪新聞信息操作示例
相關(guān)文章
php+redis實(shí)現(xiàn)消息隊(duì)列功能示例
這篇文章主要介紹了php+redis實(shí)現(xiàn)消息隊(duì)列功能,結(jié)合實(shí)例形式分析了php+redis創(chuàng)建與使用消息隊(duì)列的相關(guān)操作技巧,需要的朋友可以參考下2019-09-09
PHP加密函數(shù) Javascript/Js 解密函數(shù)
php加密，js解密，貌似沒(méi)什么意義，主要是key在js中會(huì)被看到，不過(guò)在某些地方可能會(huì)用到2013-09-09
這篇文章主要介紹了php校驗(yàn)表單檢測(cè)字段是否為空的方法,涉及php驗(yàn)證表單的技巧,非常具有實(shí)用價(jià)值,需要的朋友可以參考下2015-03-03
本篇文章是對(duì)php中socket的講解與實(shí)例進(jìn)行了詳細(xì)的分析介紹，需要的朋友參考下2013-06-06
PHP下打開(kāi)phpMyAdmin出現(xiàn)403錯(cuò)誤的問(wèn)題解決方法
PHP下打開(kāi)phpMyAdmin出現(xiàn)403錯(cuò)誤的問(wèn)題解決方法，需要的朋友可以參考一下2013-05-05
如何使用Serializable接口來(lái)自定義PHP中類(lèi)的序列化
這篇文章主要介紹了如何使用Serializable接口來(lái)自定義PHP中類(lèi)的序列化，幫助大家更好的理解和學(xué)習(xí)使用PHP，感興趣的朋友可以了解下2021-04-04
這篇文章主要介紹了php實(shí)現(xiàn)的日歷程序,可實(shí)現(xiàn)基本的日歷顯示與實(shí)時(shí)查詢(xún)功能,非常具有實(shí)用價(jià)值,需要的朋友可以參考下2015-06-06
本篇文章是對(duì)thinkphp的左右值無(wú)限分類(lèi)進(jìn)行了詳細(xì)的分析介紹，需要的朋友參考下2013-06-06
PHP下對(duì)數(shù)組進(jìn)行排序的函數(shù)
如果你已經(jīng)使用了一段時(shí)間PHP的話，那么，你應(yīng)該已經(jīng)對(duì)它的數(shù)組比較熟悉了——這種數(shù)據(jù)結(jié)構(gòu)允許你在單個(gè)變量中存儲(chǔ)多個(gè)值，并且可以把它們作為一個(gè)集合進(jìn)行操作。2010-08-08
探討file_get_contents與curl效率及穩(wěn)定性的分析
本篇文章是對(duì)file_get_contents與curl效率及穩(wěn)定性進(jìn)行了詳細(xì)的分析介紹，需要的朋友參考下2013-06-06