PHP讀取大文件的幾種方法介紹
讀取大文件一直是一個(gè)頭痛的問(wèn)題,我們像使用php開(kāi)發(fā)讀取小文件可以直接使用各種函數(shù)實(shí)現(xiàn),但一到大文章就會(huì)發(fā)現(xiàn)常用的方法是無(wú)法正常使用或時(shí)間太長(zhǎng)太卡了,下面我們就一起來(lái)看看關(guān)于php讀取大文件問(wèn)題解決辦法,希望例子能幫助到各位。
場(chǎng)景:PHP讀取超大文件,例如1G的日志文件,我這里使用的是400M的access.log文件
1、使用file直接讀取
<?php $starttime=microtime_float(); ini_set('memory_limit', '-1'); $file = 'testfile.txt'; $data = file($file); $line = $data[count($data) - 1000]; $endtime=microtime_float(); echo count($data),"<br/>"; echo $endtime-$starttime; function microtime_float(){ list($usec, $sec) = explode(" ", microtime()); return ((float)$usec + (float)$sec); } ?>
運(yùn)行結(jié)果:10127784 行 共使用了,7.8764359951s
我的電腦是3G內(nèi)存,此方法不是推薦使用,因?yàn)樾枰盐募枯d入內(nèi)存
2、使用linux命令 tail
<?php $starttime=microtime_float(); $file = 'testfile.txt'; $file = escapeshellarg($file); // 對(duì)命令行參數(shù)進(jìn)行安全轉(zhuǎn)義 $line = `tail -n 100 $file`; echo $line,"<br/>"; $endtime=microtime_float(); echo $endtime-$starttime; function microtime_float(){ list($usec, $sec) = explode(" ", microtime()); return ((float)$usec + (float)$sec); } //end
運(yùn)行結(jié)果:只使用了幾毫秒、輕松搞定、這種方法不能在windows下使用
3、使用fseek函數(shù)
這種方式是最為普遍的方式,它不需要將文件的內(nèi)容全部讀入內(nèi)容,因?yàn)镻HP是C寫(xiě)的,所以實(shí)現(xiàn)的時(shí)候也類(lèi)似C讀取文件,通過(guò)指針的移動(dòng),所以效率是相當(dāng)高效的。在使用fseek來(lái)對(duì)文件進(jìn)行操作時(shí),也有多種不同的方法,效率可能也是略有差別的,
下面是常用的幾種方法
方法一:使用fopen打開(kāi)文件(從文件指針資源句柄)
<?php $starttime=microtime_float(); $file = 'testfile.txt'; $fp = fopen($file, "r+"); $line = 100; $pos = -2; $t =$data=""; while ($line > 0) { while ($t != "\n") //換行符 { fseek($fp, $pos, SEEK_END);//移動(dòng)指針 $t = fgetc($fp);//獲取一個(gè)字符 $pos--;//向前偏移 } $t = ""; $data = fgets($fp);//獲取當(dāng)前行的數(shù)據(jù) $line--; } fclose($fp); echo $data,"<br/>"; $endtime=microtime_float(); echo $endtime-$starttime; function microtime_float(){ list($usec, $sec) = explode(" ", microtime()); return ((float)$usec + (float)$sec); } ?>
運(yùn)行結(jié)果:0.338493108749
方法二:一塊一塊的讀取
<?php $starttime=microtime_float(); $file = 'testfile.txt'; $fp = fopen($file, "r"); $num = 10; $chunk = 4096;//4K的塊 $fs = sprintf("%u", filesize($file)); $readData=''; $max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : $fs; for($len = 0; $len < $max; $len += $chunk){ $seekSize = ($max - $len > $chunk) ? $chunk : $max - $len; fseek($fp, ($len + $seekSize) * -1, SEEK_END); $readData = fread($fp, $seekSize) . $readData; if (substr_count($readData, "\n") >= $num + 1) { $ns=substr_count($readData, "\n")-$num+2; preg_match('/(.*?\n){'.$ns.'}/',$readData,$match); $data = $match[1]; break; } } fclose($fp); echo $data,"<br/>"; $endtime=microtime_float(); echo $endtime-$starttime; function microtime_float(){ list($usec, $sec) = explode(" ", microtime()); return ((float)$usec + (float)$sec); } ?>
運(yùn)行時(shí)間:0.00199198722839
使用fgets函數(shù),一行一行讀取
<?php $file = fopen("testfile.txt","r"); while(!feof($file)) { echo fgets($file); } fclose($file);
spl庫(kù)函數(shù)
<?php try{ foreach( new SplFileObject('testfile.txt') as $line) echo $line.'<br />'; }catch (Exception $e){ echo $e->getMessage(); }
另外網(wǎng)上有很多按照塊讀取文件的,有興趣的讀者可以試試,我試了沒(méi)成功,好像必須含有換行符“\n”才可以。
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
- PHP搭建大文件切割分塊上傳功能示例
- PHP 讀取和修改大文件的某行內(nèi)容的代碼
- 用PHP讀取超大文件的實(shí)例代碼
- PHP讀取大文件末尾N行的高效方法推薦
- php超快高效率統(tǒng)計(jì)大文件行數(shù)
- PHP大文件分割上傳 PHP分片上傳
- php使用file函數(shù)、fseek函數(shù)讀取大文件效率對(duì)比分析
- PHP 讀取大文件并顯示的簡(jiǎn)單實(shí)例(推薦)
- php斷點(diǎn)續(xù)傳之如何分割合并文件
- PHP實(shí)現(xiàn)將多個(gè)文件中的內(nèi)容合并為新文件的方法示例
- PHP合并靜態(tài)文件詳解
- PHP實(shí)現(xiàn)的大文件切割與合并功能示例
相關(guān)文章
thinkPHP內(nèi)置字符串截取函數(shù)用法詳解
這篇文章主要介紹了thinkPHP內(nèi)置字符串截取函數(shù)用法,結(jié)合實(shí)例形式分析了thinkPHP內(nèi)置的字符串截取函數(shù)功能與具體使用方法,以及針對(duì)無(wú)法添加省略號(hào)的源碼修改技巧,需要的朋友可以參考下2016-11-11ThinkPHP連接數(shù)據(jù)庫(kù)操作示例【基于DSN方式和數(shù)組傳參的方式】
這篇文章主要介紹了ThinkPHP連接數(shù)據(jù)庫(kù)操作,結(jié)合實(shí)例形式分析了thinkPHP基于DSN方式和數(shù)組傳參的方式進(jìn)行數(shù)據(jù)庫(kù)連接的實(shí)現(xiàn)步驟與屬性設(shè)置、控制器、模板使用等相關(guān)操作技巧,需要的朋友可以參考下2018-03-03使用PHP+MySql實(shí)現(xiàn)微信投票功能實(shí)例代碼
這篇文章主要介紹了使用PHP+MySql實(shí)現(xiàn)微信投票功能實(shí)例代碼,需要的朋友可以參考下2017-09-09詳談PHP中public,private,protected,abstract等關(guān)鍵字的用法
下面小編就為大家分享一篇詳談PHP中public,private,protected,abstract等關(guān)鍵字的用法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2017-12-12PHP如何將log信息寫(xiě)入服務(wù)器中的log文件
這篇文章主要介紹了PHP如何將log信息寫(xiě)入服務(wù)器中的log文件,需要的朋友可以參考下2015-07-07