亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

強悍的Python讀取大文件的解決方案

 更新時間：2019年02月16日 15:19:02   作者：Inside_Zhang  
今天小編就為大家分享一篇關于強悍的Python讀取大文件的解決方案，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧

Python 環(huán)境下文件的讀取問題，請參見拙文 Python基礎之文件讀取的講解

這是一道著名的 Python 面試題，考察的問題是，Python 讀取大文件和一般規(guī)模的文件時的區(qū)別，也即哪些接口不適合讀取大文件。

1. read() 接口的問題

f = open(filename, 'rb')
f.read()

我們來讀取 1 個 nginx 的日至文件，規(guī)模為 3Gb 大小。read() 方法執(zhí)行的操作，是一次性全部讀入內(nèi)存，顯然會造成：

MemoryError
...

也即會發(fā)生內(nèi)存溢出。

2. 解決方案：轉換接口

  • （1）readlines() ：讀取全部的行，構成一個 list，實踐表明還是會造成內(nèi)存的問題；
for line in f.reanlines():
  ...
  • （2）readline()：每次讀取一行，
while True:
  line = f.readline()
  if not line:
    break
  • （3）read(1024)：重載，指定每次讀取的長度
while True:
  block = f.read(1024)
  if not block:
    break

3. 真正 Pythonic 的方法

真正 Pythonci 的方法，使用 with 結構：

with open(filename, 'rb') as f:
  for line in f:
    <do something with the line>

對可迭代對象 f，進行迭代遍歷：for line in f，會自動地使用緩沖IO（buffered IO）以及內(nèi)存管理，而不必擔心任何大文件的問題。

There should be one – and preferably only one – obvious way to do it.

Reference

How to read large file, line by line in python

總結

以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對腳本之家的支持。如果你想了解更多相關內(nèi)容請查看下面相關鏈接

相關文章

最新評論