解決File size limit exceeded 錯(cuò)誤的方法
昨日遇到一個(gè)問題,使用Yii框架編寫php腳本,將db中100多萬的數(shù)據(jù)導(dǎo)出,運(yùn)行,成功。
但是在 運(yùn)行到第 49萬條時(shí),腳本終止,提示錯(cuò)誤“File size limit exceeded”,遂google之,原來是某個(gè)文件大小超過系統(tǒng)限制。筆者第一反應(yīng),日志文件寫滿了???趕忙查看 log,居然只有幾十K !!! 那么這個(gè) “大文件”在哪里呢?
開始分析,不可能是Yii框架的問題,此乃linux操作系統(tǒng)異常問題與框架無光,也不是 日志文件大小,仔細(xì)查看了所有設(shè)置的log路徑下的文件,均小的可以忽略,即使是將Yii的debug關(guān)掉,也出現(xiàn)了相同的問題。
那么換個(gè)思路,重新運(yùn)行腳本,再次運(yùn)行腳本,發(fā)現(xiàn) dead的時(shí)間很有規(guī)律,均是在45萬條記錄時(shí)掛掉,一條不多一條不少,開始懷疑與進(jìn)程有關(guān)。決定查看腳本進(jìn)程所影響到的io。
1、先獲取腳本進(jìn)程的 <pid>;
2、使用lsof命令查看此pid的io情況 : lsof -p <pid>
發(fā)現(xiàn)一個(gè)疑似文件 data0/xdebug/cachegrind.out.<pid>,隨著腳本的執(zhí)行,這個(gè)xdebug文件的大小也隨之增大,最后,如愿,掛掉!此時(shí)文件大小為:2147483647??!
哈哈,好熟悉的數(shù)字,2^31 -1 !!
看來問題找到了,在腳本執(zhí)行時(shí),xdebug也隨之對(duì)這個(gè)腳本進(jìn)程進(jìn)行寫記錄日志,當(dāng)此文件大小超出 系統(tǒng)所能支持的文件大小時(shí),如期掛掉。
ok, 將xdebug關(guān)掉,重跑腳本,一百多萬的記錄順利跑完,搞定。
ps: 筆者所使用的服務(wù)器為32位系統(tǒng),而在32位操作系統(tǒng)中,由于是二進(jìn)制,其能最大存儲(chǔ)的數(shù)據(jù)是1111111111111111111111111111111。
正因?yàn)榇?,體現(xiàn)在其他可視系統(tǒng)中的十進(jìn)制就為2147483647。
相關(guān)文章
Windows2003 下 MySQL 數(shù)據(jù)庫每天自動(dòng)備份
Windows2003 下 MySQL 數(shù)據(jù)庫每天自動(dòng)備份...2006-12-12PHP檢查文件是否存在,不存在自動(dòng)創(chuàng)建及讀取文件內(nèi)容操作示例
這篇文章主要介紹了PHP檢查文件是否存在,不存在自動(dòng)創(chuàng)建及讀取文件內(nèi)容操作,結(jié)合實(shí)例形式分析了PHP針對(duì)文件的檢測、創(chuàng)建、遍歷、讀取等相關(guān)操作技巧,需要的朋友可以參考下2020-01-01php自動(dòng)加載的兩種實(shí)現(xiàn)方法
php自動(dòng)加載的兩種實(shí)現(xiàn)方法,需要的朋友可以參考下。2010-06-06php PDO實(shí)現(xiàn)的事務(wù)回滾示例
這篇文章主要介紹了php PDO實(shí)現(xiàn)的事務(wù)回滾功能,結(jié)合具體實(shí)例形式分析了php基于PDO操作實(shí)現(xiàn)事務(wù)回滾功能的相關(guān)SQL語句與操作技巧,需要的朋友可以參考下2017-03-03WordPress的文章自動(dòng)添加關(guān)鍵詞及關(guān)鍵詞的SEO優(yōu)化
這篇文章主要介紹了給WordPress的文章添加關(guān)鍵詞及關(guān)鍵詞的SEO優(yōu)化方法,突出關(guān)鍵詞在搜尋結(jié)果中的作用,需要的朋友可以參考下2016-03-03PHP使用curl_multi_select解決curl_multi網(wǎng)頁假死問題的方法
這篇文章主要介紹了PHP使用curl_multi_select解決curl_multi網(wǎng)頁假死問題的方法,結(jié)合實(shí)例形式分析了使用curl_multi的過程中并發(fā)處理事務(wù)導(dǎo)致cpu占用率過高時(shí)的解決方法,需要的朋友可以參考下2018-08-08