php使用curl_init()和curl_multi_init()多線程的速度比較詳解
本文實(shí)例講述了php使用curl_init()和curl_multi_init()多線程的速度比較。分享給大家供大家參考,具體如下:
php中curl_init()的作用很大,尤其是在抓取網(wǎng)頁內(nèi)容或文件信息的時候,例如之前文章《php使用curl獲取header檢測開啟GZip壓縮》就介紹到curl_init()的強(qiáng)大。
curl_init()處理事物是單線程模式,如果需要對事務(wù)處理走多線程模式,那么php里提供了一個函數(shù)curl_multi_init()給我們,這就是多線程模式處理事務(wù)的函數(shù)。
curl_init()
與curl_multi_init()
的速度比較
curl_multi_init()
多線程能提高網(wǎng)頁的處理速度嗎?今天我通過實(shí)驗(yàn)來驗(yàn)證一下這個問題。
今天我的測試很簡單,那就是要抓取www.webkaka.com網(wǎng)頁的內(nèi)容,要連續(xù)抓5次,分別用curl_init()
和curl_multi_init()
函數(shù)來完成,記錄兩者的耗時,比較得出結(jié)論。
首先,用curl_init()
單線程連續(xù)抓5次www.webkaka.com網(wǎng)頁的內(nèi)容。
程序代碼如下:
<?php $mtime = explode(" ", microtime()); $mtime = $mtime[1].($mtime[0] * 1000); $mtime2 = explode(".", $mtime); $mtime = $mtime2[0]; echo $mtime; echo "<br>"; for($i=1; $i<=5; $i++){ $szUrl = 'http://www.webkaka.com/'; $curl = curl_init(); curl_setopt($curl, CURLOPT_URL, $szUrl); curl_setopt($curl, CURLOPT_HEADER, 0); curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); curl_setopt($curl, CURLOPT_ENCODING, ''); $data=curl_exec($curl); echo $data; echo "<br>"; $mtime_ = explode(" ", microtime()); $mtime_ = $mtime_[1].($mtime_[0] * 1000); $mtime2_ = explode(".", $mtime_); $mtime_ = $mtime2_[0]; echo $mtime_; echo "<br>"; echo $mtime_ - $mtime; } ?>
然后,用curl_multi_init()
多線程連續(xù)抓5次www.webkaka.com網(wǎng)頁的內(nèi)容。
代碼如下:
<?php echo date("Y-m-d H:m:s",time()); echo " "; echo floor(microtime()*1000); echo "<br>"; $mtime = explode(" ", microtime()); $mtime = $mtime[1].($mtime[0] * 1000); $mtime2 = explode(".", $mtime); $mtime = $mtime2[0]; echo $mtime; echo "<br>"; $urls = array( 'http://www.webkaka.com', 'http://www.webkaka.com', 'http://www.webkaka.com', 'http://www.webkaka.com', 'http://www.webkaka.com'); print_r(async_get_url($urls)); // [0] => example1, [1] => example2 echo "<br>"; echo date("Y-m-d H:m:s",time()); echo " "; echo floor(microtime()*1000); echo "<br>"; $mtime_ = explode(" ", microtime()); $mtime_ = $mtime_[1].($mtime_[0] * 1000); $mtime2_ = explode(".", $mtime_); $mtime_ = $mtime2_[0]; echo $mtime_; echo "<br>"; echo $mtime_ - $mtime; function async_get_url($url_array, $wait_usec = 0) { if (!is_array($url_array)) return false; $wait_usec = intval($wait_usec); $data = array(); $handle = array(); $running = 0; $mh = curl_multi_init(); // multi curl handler $i = 0; foreach($url_array as $url) { $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // return don't print curl_setopt($ch, CURLOPT_TIMEOUT, 30); curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)'); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // 302 redirect curl_setopt($ch, CURLOPT_MAXREDIRS, 7); curl_multi_add_handle($mh, $ch); // 把 curl resource 放進(jìn) multi curl handler 里 $handle[$i++] = $ch; } /* 執(zhí)行 */ do { curl_multi_exec($mh, $running); if ($wait_usec > 0) /* 每個 connect 要間隔多久 */ usleep($wait_usec); // 250000 = 0.25 sec } while ($running > 0); /* 讀取資料 */ foreach($handle as $i => $ch) { $content = curl_multi_getcontent($ch); $data[$i] = (curl_errno($ch) == 0) ? $content : false; } /* 移除 handle*/ foreach($handle as $ch) { curl_multi_remove_handle($mh, $ch); } curl_multi_close($mh); return $data; } ?>
為了避免隨機(jī)性,我分別測了5次(用CTRL+F5強(qiáng)行刷新的方式),數(shù)據(jù)如下:
curl_init():
第一次 | 第二次 | 第三次 | 第四次 | 第五次 | 平均 | |
耗時(ms) | 3724 | 3615 | 2540 | 1957 | 2794 | 2926 |
curl_multi_init():
第一次 | 第二次 | 第三次 | 第四次 | 第五次 | 平均 | |
耗時(ms) | 4275 | 2912 | 3691 | 4198 | 3891 | 3793 |
從測試結(jié)果來看,我們發(fā)現(xiàn)兩種方法的耗時差不了太多,只有700多毫秒。很多人原本以為多線程比單線程耗時會短很多,實(shí)際上并不是這樣的,從數(shù)據(jù)來看,多線程反而比單線程耗時更多了一點(diǎn)。不過,對于某些事務(wù)來說,用多線程來處理不一定是為了追求速度,這個是需要注意的。
關(guān)于curl_multi_init()
一般來說,想到要用curl_multi_init()
時,目的是要同時請求多個url,而不是一個一個依次請求,否則就要curl_init()
了。
不過,在使用curl_multi的時候,你可能遇到cpu消耗過高、網(wǎng)頁假死等現(xiàn)象,可以看看《PHP使用curl_multi_select解決curl_multi網(wǎng)頁假死問題》
使用curl_multi的步驟總結(jié)如下:
- 第一步:調(diào)用
curl_multi_init
- 第二步:循環(huán)調(diào)用
curl_multi_add_handle
- 這一步需要注意的是,
curl_multi_add_handle
的第二個參數(shù)是由curl_init而來的子handle。 - 第三步:持續(xù)調(diào)用
curl_multi_exec
- 第四步:根據(jù)需要循環(huán)調(diào)用
curl_multi_getcontent
獲取結(jié)果 - 第五步:調(diào)用
curl_multi_remove_handle
,并為每個字handle調(diào)用curl_close - 第六步:調(diào)用
curl_multi_close
各函數(shù)作用解釋:
curl_multi_init()
初始化一個curl批處理句柄資源。
curl_multi_add_handle()
向curl批處理會話中添加單獨(dú)的curl句柄資源。curl_multi_add_handle()
函數(shù)有兩個參數(shù),第一個參數(shù)表示一個curl批處理句柄資源,第二個參數(shù)表示一個單獨(dú)的curl句柄資源。
curl_multi_exec()
解析一個curl批處理句柄,curl_multi_exec()
函數(shù)有兩個參數(shù),第一個參數(shù)表示一個批處理句柄資源,第二個參數(shù)是一個引用值的參數(shù),表示剩余需要處理的單個的curl句柄資源數(shù)量。
curl_multi_remove_handle()
移除curl批處理句柄資源中的某個句柄資源,curl_multi_remove_handle()
函數(shù)有兩個參數(shù),第一個參數(shù)表示一個curl批處理句柄資源,第二個參數(shù)表示一個單獨(dú)的curl句柄資源。
curl_multi_close()
關(guān)閉一個批處理句柄資源。
curl_multi_getcontent()
在設(shè)置了CURLOPT_RETURNTRANSFER
的情況下,返回獲取的輸出的文本流。
curl_multi_info_read()
獲取當(dāng)前解析的curl的相關(guān)傳輸信息。
實(shí)例
請看本文里async_get_url()
的寫法。
更多關(guān)于PHP相關(guān)內(nèi)容感興趣的讀者可查看本站專題:《php curl用法總結(jié)》、《PHP網(wǎng)絡(luò)編程技巧總結(jié)》、《PHP數(shù)組(Array)操作技巧大全》、《php字符串(string)用法總結(jié)》、《PHP數(shù)據(jù)結(jié)構(gòu)與算法教程》及《PHP中json格式數(shù)據(jù)操作技巧匯總》
希望本文所述對大家PHP程序設(shè)計(jì)有所幫助。
相關(guān)文章
如何使用FireFox插件FirePHP調(diào)試PHP
使用這個工具,首先你需要安裝FirePHP插件。這個插件需要你已經(jīng)安裝FireBug。裝好FirePHP之后,重新打開Firebug面板時候,你會看到新加了一個藍(lán)色的臭蟲圖標(biāo)。點(diǎn)擊這個圖標(biāo)會出現(xiàn)一個開啟或者關(guān)閉FirePHP的菜單2013-07-07PHP面向?qū)ο蟪绦蛟O(shè)計(jì)中的self、static、parent關(guān)鍵字用法分析
這篇文章主要介紹了PHP面向?qū)ο蟪绦蛟O(shè)計(jì)中的self、static、parent關(guān)鍵字用法,結(jié)合實(shí)例形式分析了self、static、parent關(guān)鍵字功能、應(yīng)用場景及相關(guān)使用技巧,需要的朋友可以參考下2019-08-08PHP 獲取遠(yuǎn)程文件內(nèi)容的函數(shù)代碼
PHP 獲取遠(yuǎn)程文件內(nèi)容的代碼,后面有一些注釋可以參考下,其實(shí)大家可以參考腳本之家發(fā)布的一些采集程序代碼。2010-03-03php實(shí)現(xiàn)模擬登陸方正教務(wù)系統(tǒng)抓取課表
這篇文章主要介紹了php實(shí)現(xiàn)模擬登陸方正教務(wù)系統(tǒng)抓取課表的相關(guān)資料,需要的朋友可以參考下2015-05-05PHP縮略圖等比例無損壓縮,可填充空白區(qū)域補(bǔ)充色
PHP縮略圖 等比例無損壓縮,可填充空白區(qū)域補(bǔ)充色的實(shí)現(xiàn)代碼,需要的朋友可以參考下。2011-06-06php preg_match_all結(jié)合str_replace替換內(nèi)容中所有img
最近做站的時候,采集了大量的數(shù)據(jù),但采回來的數(shù)據(jù)基本上都要經(jīng)過過濾原站保留的數(shù)據(jù),其中IMG就是一個地方。網(wǎng)站上好多這些應(yīng)用例子似乎沒有必要“秀”出來,但站已幾天沒寫日志,那就來一個吧2008-10-10