python讀取大文件越來越慢的原因與解決

更新時間：2019年08月08日 11:19:00 作者：hank-yan

這篇文章主要給大家介紹了關(guān)于python讀取大文件越來越慢的原因與解決方法，文中通過示例代碼介紹的非常詳細，對大家學習或者使用Python具有一定的參考學習價值，需要的朋友們下面來一起學習學習吧

背景：

今天同事寫代碼，用python讀取一個四五百兆的文件，然后做一串邏輯上很直觀的處理。結(jié)果處理了一天還沒有出來結(jié)果。問題出在哪里呢？

解決：

1. 同事打印了在不同時間點的時間，在需要的地方插入如下代碼:

print time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))

發(fā)現(xiàn)一個規(guī)律，執(zhí)行速度到后面時間越來越長，也就是處理速度越來越慢。

2. 為什么會越來越慢呢？

1）可能原因1，GC 的問題，有篇文章里面寫，python list append 的時候會越來越慢，解決方案是禁止GC:

使用 gc.disable（）和gc.enable（）

2）改完上面，仍然不行，然后看到一篇文章里面寫，可能是因為 git 導致的，因為append 的時候 git 會不斷同步，會出問題，于是刪除 .git 文件夾，結(jié)果還是不行。

3）繼續(xù)查詢，發(fā)下一個及其有可能出問題的地方。dict 的 in dict.key()，判斷 key 是否在 dict 里面，這個的效率是非常低的?？吹揭黄恼卤容^了效率：

① 使用 in dict.keys() 效率:

② 使用 has_key() 效率:

發(fā)現(xiàn) has_key() 效率比較穩(wěn)定。于是修改，問題解決。

后話：

最初的時候，的確是使用 has_key(), 結(jié)果后面上傳代碼的時候，公司代碼檢查過不了，提示不能使用這個函數(shù)，只能改成 in dict.key() 這種方式，為什么公司不讓這么傳呢？經(jīng)過一番百度，發(fā)現(xiàn)原因所在：在 python3 中，直接將 has_key() 函數(shù)給刪除了，所以禁止使用。那禁止了該怎么辦呢？原來 python 中 in 很智能，能自動判斷 key 是否在字典中存在。所以最正規(guī)的做法不是 has_key(), 更不是 in dict.keys(), 而是 in dict. 判斷 key 在 map 中，千萬別用 in dict.keys() ?。?！

附錄:

in、 in dict.keys()、 has_key() 方法實戰(zhàn)對比:

>>> a = {'name':"tom", 'age':10, 'Tel':110}
>>> a
{'age': 10, 'Tel': 110, 'name': 'tom'}
>>> print 'age' in a
True
>>> print 'age' in a.keys()
True
>>>
>>> print a.has_key("age")
True

總結(jié)

以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對腳本之家的支持。

參考資料:

https://www.douban.com/group/topic/44472300/

http://www.it1352.com/225441.html

http://chabaoo.cn/article/145424.htm

您可能感興趣的文章: