PHP使用curl_multi_select解決curl_multi網(wǎng)頁(yè)假死問(wèn)題的方法
本文實(shí)例講述了PHP使用curl_multi_select解決curl_multi網(wǎng)頁(yè)假死問(wèn)題的方法。分享給大家供大家參考,具體如下:
curl_multi可以批處理事務(wù),給網(wǎng)頁(yè)編程帶來(lái)很大的方便。不過(guò)在使用curl_multi的過(guò)程中,我們會(huì)遇到一個(gè)比較頭疼的問(wèn)題,那就是當(dāng)并發(fā)處理的事務(wù)數(shù)量過(guò)多的時(shí)候,就會(huì)出現(xiàn)CPU過(guò)高,網(wǎng)頁(yè)假死的現(xiàn)象,這是不可以忽視的。
今天,通過(guò)查詢(xún)相關(guān)資料和測(cè)試,終于找到了一個(gè)解決問(wèn)題的方法。
正常情況下,我們是這樣使用curl_multi
的。
實(shí)例代碼:
$connomains = array( "http://chabaoo.cn/", "http://www.163.com/", "http://www.sina.com.cn/" ); $mh = curl_multi_init(); foreach ($connomains as $i => $url) { $conn[$i]=curl_init($url); curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1); curl_multi_add_handle ($mh,$conn[$i]); } do { $n=curl_multi_exec($mh,$active); } while ($active); foreach ($connomains as $i => $url) { $res[$i]=curl_multi_getcontent($conn[$i]); curl_close($conn[$i]); } print_r($res);
這個(gè)實(shí)例代碼有個(gè)致命弱點(diǎn),就是在do循環(huán)的那段,在整個(gè)url請(qǐng)求期間是個(gè)死循環(huán),它會(huì)輕易導(dǎo)致CPU占用很高,網(wǎng)頁(yè)出現(xiàn)假死狀態(tài)。
經(jīng)過(guò)測(cè)試發(fā)現(xiàn),我們可以巧妙使用curl_multi_select()
函數(shù)來(lái)解決這個(gè)問(wèn)題。
方法如下:
把
do { $n=curl_multi_exec($mh,$active); } while ($active);
改為
do { $mrc = curl_multi_exec($mh,$active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); while ($active and $mrc == CURLM_OK) { if (curl_multi_select($mh) != -1) { do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); } }
因?yàn)?active要等全部url數(shù)據(jù)接受完畢才變成false,所以這里用到了curl_multi_exec
的返回值判斷是否還有數(shù)據(jù),當(dāng)有數(shù)據(jù)的時(shí)候就不停調(diào)用curl_multi_exec
,暫時(shí)沒(méi)有數(shù)據(jù)就進(jìn)入select階段,新數(shù)據(jù)一來(lái)就可以被喚醒繼續(xù)執(zhí)行。這里的好處就是CPU的無(wú)謂消耗沒(méi)有了。
另外可能遇到的問(wèn)題:
控制每一個(gè)請(qǐng)求的超時(shí)時(shí)間,在curl_multi_add_handle
之前通過(guò)curl_setopt
去做:
curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);
判斷是否超時(shí)了或者其他錯(cuò)誤,在curl_multi_getcontent
之前用:
curl_error($conn[$i]);
了解multi接口
當(dāng)程序需要進(jìn)行多次curl并發(fā)請(qǐng)求的時(shí)候,curl提供的multi接口就派上用場(chǎng)了。流暢大致是這樣的:
1)、curl_multi _init
初始化一個(gè)multi curl
對(duì)象,為了同時(shí)進(jìn)行多個(gè)curl的并發(fā)訪問(wèn),我們需要初始化多個(gè)easy curl對(duì)象,使用curl_easy_setopt
進(jìn)行相關(guān)設(shè)置。
2)、調(diào)用curl_multi _add_handle
把easy curl對(duì)象添加到multi curl對(duì)象中。
3)、添加完畢后執(zhí)行curl_multi_perform
方法進(jìn)行并發(fā)的訪問(wèn)。
4)、訪問(wèn)結(jié)束后curl_multi_remove_handle
移除相關(guān)easy curl對(duì)象,curl_easy_cleanup
清除easy curl對(duì)象。
5)、最后curl_multi_cleanup
清除multi curl對(duì)象。
一個(gè)簡(jiǎn)單明了的PHP使用curl_multi_add_handle
并行處理實(shí)例
<?php // 創(chuàng)建一對(duì)cURL資源 $ch1 = curl_init(); $ch2 = curl_init(); // 設(shè)置URL和相應(yīng)的選項(xiàng) curl_setopt($ch1, CURLOPT_URL, "http://chabaoo.cn/"); curl_setopt($ch1, CURLOPT_HEADER, 0); curl_setopt($ch2, CURLOPT_URL, "http://www.baidu.com/"); curl_setopt($ch2, CURLOPT_HEADER, 0); // 創(chuàng)建批處理cURL句柄 $mh = curl_multi_init(); // 增加2個(gè)句柄 curl_multi_add_handle($mh,$ch1); curl_multi_add_handle($mh,$ch2); $running=null; // 執(zhí)行批處理句柄 do { curl_multi_exec($mh,$running); } while($running > 0); // 關(guān)閉全部句柄 curl_multi_remove_handle($mh, $ch1); curl_multi_remove_handle($mh, $ch2); curl_multi_close($mh); ?>
更多關(guān)于PHP相關(guān)內(nèi)容感興趣的讀者可查看本站專(zhuān)題:《php curl用法總結(jié)》、《PHP網(wǎng)絡(luò)編程技巧總結(jié)》、《PHP數(shù)組(Array)操作技巧大全》、《php字符串(string)用法總結(jié)》、《PHP數(shù)據(jù)結(jié)構(gòu)與算法教程》及《PHP中json格式數(shù)據(jù)操作技巧匯總》
希望本文所述對(duì)大家PHP程序設(shè)計(jì)有所幫助。
- PHP curl偽造IP地址和header信息代碼實(shí)例
- php curl中g(shù)zip的壓縮性能測(cè)試實(shí)例分析
- php使用curl檢測(cè)網(wǎng)頁(yè)是否被百度收錄的示例分享
- php中通過(guò)curl檢測(cè)頁(yè)面是否被百度收錄
- php使用curl判斷網(wǎng)頁(yè)404(不存在)的方法
- php下利用curl判斷遠(yuǎn)程文件是否存在的實(shí)現(xiàn)代碼
- php使用curl詳細(xì)解析及問(wèn)題匯總
- 關(guān)于PHP的curl開(kāi)啟問(wèn)題探討
- 關(guān)于php curl獲取301或302轉(zhuǎn)向的網(wǎng)址問(wèn)題的解決方法
- php使用curl獲取header檢測(cè)開(kāi)啟GZip壓縮的方法
相關(guān)文章
php獲取json數(shù)據(jù)所有的節(jié)點(diǎn)路徑
這篇文章主要介紹了php獲取json數(shù)據(jù)所有的節(jié)點(diǎn)路徑的方法和實(shí)例,有需要的小伙伴可以參考下。2015-05-05Zend Framework中的簡(jiǎn)單工廠模式 圖文
某天又然后想到好久沒(méi)復(fù)習(xí)設(shè)計(jì)模式了。綜合一下,復(fù)習(xí)一個(gè)設(shè)計(jì)模式之后在ZF中找一下使用這模式的源碼吧,不讀所有源碼,讀讀比較”高級(jí)”的部分吧,要說(shuō)模式,暫時(shí)不知道是不是所有模式ZF里面都有,但是應(yīng)該有足夠的模式夠我最近看了,在說(shuō)可以找找其他開(kāi)源的軟件來(lái)找模式2012-07-07PHP基于遞歸實(shí)現(xiàn)的約瑟夫環(huán)算法示例
這篇文章主要介紹了PHP基于遞歸實(shí)現(xiàn)的約瑟夫環(huán)算法,結(jié)合實(shí)例形式較為詳細(xì)的分析了約瑟夫環(huán)問(wèn)題與php使用遞歸算法的解決方法,需要的朋友可以參考下2017-08-08Win2003下IIS+PHP+MySQL+Zend配置步驟詳解
Win2003下IIS+PHP+MySQL+Zend配置步驟詳解...2007-05-05php讀取二進(jìn)制流(C語(yǔ)言結(jié)構(gòu)體struct數(shù)據(jù)文件)的深入解析
本篇文章是對(duì)php讀取二進(jìn)制流(C語(yǔ)言結(jié)構(gòu)體struct數(shù)據(jù)文件)進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下2013-06-06