簡(jiǎn)單了解Python讀取大文件代碼實(shí)例
更新時(shí)間：2019年12月18日 11:24:27 作者：沉默的賭徒
這篇文章主要介紹了簡(jiǎn)單了解Python讀取大文件代碼實(shí)例,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
這篇文章主要介紹了簡(jiǎn)單了解Python讀取大文件代碼實(shí)例,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
通常對(duì)于大文件讀取及處理，不可能直接加載到內(nèi)存中，因此進(jìn)行分批次小量讀取及處理
I、第一種讀取方式
一行一行的讀取，速度較慢
def read_line(path):
with open(path, 'r', encoding='utf-8') as fout:
line = fout.readline()
while line:
line = fout.readline()
print(line)
II、第二種讀取方式
設(shè)置每次讀取大小，從而完成多行快速讀取
def read_size(path):
with open(path, "r", encoding='utf-8') as fout:
while 1:
buffer = fout.read(8 * 1024 * 1024)
if not buffer:
break
print(buffer)
III、第三種讀取方式
使用itertools模塊,islice返回的是一個(gè)生成器，可以用list格式化
from itertools import islice
def read_itertools(path):
with open(path, 'r', encoding='utf-8') as fout:
list_gen = islice(fout, 0, 5) # 兩個(gè)參數(shù)分別表示開始行和結(jié)束行
for line in list_gen:
print(line)
完成
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
今天小編就為大家分享一篇python多任務(wù)及返回值的處理方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-01-01
Python 數(shù)據(jù)處理更容易的12個(gè)輔助函數(shù)總結(jié)
Python的產(chǎn)生似乎就是專門用來處理數(shù)據(jù)的，順理成章的成為大數(shù)據(jù)的主流語(yǔ)言，本文介紹十二個(gè)函數(shù)輔助你更容易更便捷的用Python進(jìn)行數(shù)據(jù)處理2021-11-11
Python中多進(jìn)程處理的Process和Pool的用法詳解
在Python編程中,多進(jìn)程是一種強(qiáng)大的并行處理技術(shù),Python提供了兩種主要的多進(jìn)程處理方式：Process和Pool,本文將詳細(xì)介紹這兩種方式的使用,希望對(duì)大家有所幫助2024-02-02
本文主要介紹了Python中可以用三種方法判斷文件是否存在，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-06-06
anaconda升級(jí)sklearn版本的實(shí)現(xiàn)方法
這篇文章主要介紹了anaconda升級(jí)sklearn版本的實(shí)現(xiàn)方法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02
這篇文章主要介紹了PyCharm 2020 激活到 2100 年,本文圖文并茂給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-03-03
這篇文章主要介紹了django創(chuàng)建超級(jí)用戶過程解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-09-09
pytest有豐富的命令行選項(xiàng),以滿足不同的需要,下面這篇文章主要給大家介紹了關(guān)于Python教程之pytest命令行方式運(yùn)行的相關(guān)資料,需要的朋友可以參考下2021-12-12
這篇文章主要介紹了Python組合數(shù)據(jù)類型詳解，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的朋友可以參考一下2022-08-08
python爬蟲入門教程--優(yōu)雅的HTTP庫(kù)requests（二）
requests 實(shí)現(xiàn)了 HTTP 協(xié)議中絕大部分功能，它提供的功能包括 Keep-Alive、連接池、Cookie持久化、內(nèi)容自動(dòng)解壓、HTTP代理、SSL認(rèn)證等很多特性，下面這篇文章主要給大家介紹了python爬蟲入門中關(guān)于優(yōu)雅的HTTP庫(kù)requests的相關(guān)資料，需要的朋友可以參考下。2017-05-05