快捷導(dǎo)航

利用Python讀取文件的四種不同方法比對(duì)

更新時(shí)間：2017年05月18日 14:11:09 作者：時(shí)空路由器

Python的文本處理是經(jīng)常碰到的一個(gè)問(wèn)題，下面這篇文章主要給大家介紹了關(guān)于Python讀取文件的幾種不同方法比對(duì)的相關(guān)資料，文中給出了詳細(xì)的示例代碼供大家理解和學(xué)習(xí)，需要的朋友們下面來(lái)一起看看吧。

前言

大家都知道Python 讀文件的方式多種多樣，但是當(dāng)需要讀取一個(gè)大文件的時(shí)候，不同的讀取方式會(huì)有不一樣的效果。下面就來(lái)看看詳細(xì)的介紹吧。

場(chǎng)景

逐行讀取一個(gè) 2.9G 的大文件

CPU i7 6820HQ
RAM 32G

方法

對(duì)每一行的讀取進(jìn)行一次分割字符串操作

以下方法都使用 with…as 方法打開(kāi)文件。

with 語(yǔ)句適用于對(duì)資源進(jìn)行訪問(wèn)的場(chǎng)合，確保不管使用過(guò)程中是否發(fā)生異常都會(huì)執(zhí)行必要的“清理”操作，釋放資源，比如文件使用后自動(dòng)關(guān)閉、線程中鎖的自動(dòng)獲取和釋放等。

方法一最通用的讀文件方式

with open(file, 'r') as fh:
 for line in fh.readlines():
 line.split("|")

運(yùn)行結(jié)果：耗時(shí) 15.4346568584 秒

系統(tǒng)監(jiān)視器中顯示內(nèi)存從 4.8G 一下子飆到了 8.4G， fh.readlines() 將讀取的所有行數(shù)據(jù)存到內(nèi)存，這種方法適合小文件。

方法二

with open(file, 'r') as fh:
 line = fh.readline()
 while line:
 line.split("|")

運(yùn)行結(jié)果：耗時(shí) 22.3531990051 秒

內(nèi)存幾乎沒(méi)有變化，因?yàn)閮?nèi)存中只存取一行的數(shù)據(jù)，但是時(shí)間明顯比上一次的長(zhǎng)，對(duì)于進(jìn)一步處理數(shù)據(jù)來(lái)說(shuō)效率不高。

方法三

with open(file) as fh:
 for line in fh:
 line.split("|")

運(yùn)行結(jié)果：耗時(shí) 13.9956979752 秒

內(nèi)存幾乎沒(méi)有變化，速度也比方法二快。

for line in fh 將文件對(duì)象 fh 視為可迭代的，它自動(dòng)使用緩沖的 IO 和內(nèi)存管理，因此您不必?fù)?dān)心大文件。這是很 pythonic 的方式！

方法四 fileinput 模塊

for line in fileinput.input(file):
 line.split("|")

運(yùn)行結(jié)果：耗時(shí) 26.1103110313 秒

內(nèi)存增加了 200-300 MB，速度是以上最慢的。

總結(jié)

以上方法僅供參考，公認(rèn)的大文件讀取方法還是三最好。但是具體情況還是要根據(jù)機(jī)器的性能、處理數(shù)據(jù)的復(fù)雜度。

好了，以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作能帶來(lái)一定的幫助，如果有疑問(wèn)大家可以留言交流，謝謝大家對(duì)腳本之家的支持。

您可能感興趣的文章:

相關(guān)文章

Python高級(jí)應(yīng)用實(shí)例對(duì)比：高效計(jì)算大文件中的最長(zhǎng)行的長(zhǎng)度
在操作某個(gè)很多進(jìn)程都要頻繁用到的大文件的時(shí)候，應(yīng)該盡早釋放文件資源（f.close()）,只有這樣才能算是一則高效率的代碼，下面我們就來(lái)分析下這3種方法的優(yōu)劣
2014-06-06
使用Cython加密Python代碼防止反編譯
本文我們主要介紹如何使用 Cython 加密源代碼,雖然 Cython 的作用主要是為了提高代碼的運(yùn)行效率,但是也對(duì)源代碼有一定的加密效果,需要的朋友可以參考下
2024-05-05
從Pyspark UDF調(diào)用另一個(gè)自定義Python函數(shù)的方法步驟
PySpark,通常稱為Apache Spark的Python API,是為分布式數(shù)據(jù)處理而創(chuàng)建的,使用UDF,可以擴(kuò)展和定制 PySpark 的功能以滿足某些需求,在本文中,我們將學(xué)習(xí)如何從Pyspark UDF調(diào)用另一個(gè)自定義Python函數(shù),需要的朋友可以參考下
2023-11-11
python學(xué)習(xí)數(shù)據(jù)結(jié)構(gòu)實(shí)例代碼
數(shù)據(jù)結(jié)構(gòu)就是用來(lái)將數(shù)據(jù)組織在一起的結(jié)構(gòu)。換句話說(shuō)，數(shù)據(jù)結(jié)構(gòu)是用來(lái)存儲(chǔ)一系列關(guān)聯(lián)數(shù)據(jù)的東西。在Python中有四種內(nèi)建的數(shù)據(jù)結(jié)構(gòu)，分別是List、Tuple、Dictionary以及Set。本文將通過(guò)實(shí)例來(lái)介紹這些數(shù)據(jù)結(jié)構(gòu)的用法。
2015-05-05
在Python中使用Protocol?Buffers的詳細(xì)介紹
本文詳細(xì)介紹了協(xié)議緩沖區(qū)（Protocol Buffers）在Python中的應(yīng)用,包括其定義、序列化和解析過(guò)程,協(xié)議緩沖區(qū)是一種靈活且高效的自動(dòng)化解決方案,本文包括了如何將地址簿應(yīng)用程序的個(gè)人詳細(xì)信息寫(xiě)入文件的示例代碼,并提供了相應(yīng)的下載和安裝指導(dǎo),感興趣的朋友一起看看吧
2024-10-10
教你如何利用python進(jìn)行數(shù)值分析
今天教大家如何利用python進(jìn)行數(shù)值分析,文中有非常詳細(xì)的代碼示例,對(duì)正在學(xué)習(xí)python的小伙伴們很有幫助,需要的朋友可以參考下
2021-06-06
macOS M1(AppleSilicon) 安裝TensorFlow環(huán)境
蘋(píng)果為M1芯片的Mac提供了TensorFlow的支持，本文主要介紹了如何給使用M1芯片的macOS安裝TensorFlow的環(huán)境，感興趣的可以了解一下
2021-08-08
python報(bào)錯(cuò): ''list'' object has no attribute ''shape''的解決
這篇文章主要介紹了python報(bào)錯(cuò): 'list' object has no attribute 'shape'的解決，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2020-07-07
Python實(shí)現(xiàn)奇數(shù)列與偶數(shù)列調(diào)換的方法詳解
這篇文章主要為大家詳細(xì)介紹了如何利用Python實(shí)現(xiàn)df的奇數(shù)列與偶數(shù)列調(diào)換位置，比如A列，B列，調(diào)換成B列，A列，感興趣的小伙伴可以了解一下
2022-05-05
使用Python制作一個(gè)數(shù)據(jù)預(yù)處理小工具(多種操作一鍵完成)
這篇文章主要介紹了使用Python制作一個(gè)數(shù)據(jù)預(yù)處理小工具(多種操作一鍵完成),本文通過(guò)圖文實(shí)例相結(jié)合給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2021-02-02