用Python實現(xiàn)大文本文件切割的方法
更新時間：2019年01月12日 17:52:58 作者：zhang_qxian
今天小編就為大家分享一篇用Python實現(xiàn)大文本文件切割的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
在實際工作中，有些場景下，因為產品既有功能限制，不支持特大文件的直接處理，需要把大文件進行切割處理。
當然可以通過UltraEdit編輯工具，或者從網上下載一些文件切割器之類的。但這些要么手工操作太麻煩，要么不能滿足自定義需求。
而且，對程序員來說，DIY一個輪子還是有必要的。
Python作為快速開發(fā)工具，其代碼表達力強，開發(fā)效率高，因此用Python快速寫一個，還是可行的。
需求描述：
輸入：給定一個帶列頭的csv文件，或者txt文件，或者其他文本文件。
輸出：指定單文件內部行數(shù)的一系列可區(qū)分小文件。
開發(fā)環(huán)境：Python 3.6
代碼如下：
# -*- coding: cp936 -*-
import os
import time
def mkSubFile(lines,head,srcName,sub):
[des_filename, extname] = os.path.splitext(srcName)
filename = des_filename + '_' + str(sub) + extname
print( 'make file: %s' %filename)
fout = open(filename,'w')
try:
fout.writelines([head])
fout.writelines(lines)
return sub + 1
finally:
fout.close()
def splitByLineCount(filename,count):
fin = open(filename,'r')
try:
head = fin.readline()
buf = []
sub = 1
for line in fin:
buf.append(line)
if len(buf) == count:
sub = mkSubFile(buf,head,filename,sub)
buf = []
if len(buf) != 0:
sub = mkSubFile(buf,head,filename,sub)
finally:
fin.close()
if __name__ == '__main__':
begin = time.time()
splitByLineCount('盂縣.csv',600000)
end = time.time()
print('time is %d seconds ' % (end - begin))
測試結果：
1.4GB的csv文件，13列數(shù)據(jù)，切分成23個小文件，耗時55秒。
以上這篇用Python實現(xiàn)大文本文件切割的方法就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
使用wxpython實現(xiàn)的一個簡單圖片瀏覽器實例
這篇文章主要介紹了使用wxpython實現(xiàn)的一個簡單圖片瀏覽器實例,根據(jù)自己的特殊需求而寫,需要的朋友可以參考下2014-07-07
這篇文章主要給大家分享了Flask 數(shù)據(jù)庫集成的介紹，數(shù)據(jù)庫是大多數(shù) Web 應用的基礎設施，只要想把數(shù)據(jù)存儲下來，就離不開數(shù)據(jù)庫，下面將一起學習一下如何給 Flask 應用添加數(shù)據(jù)庫支持。下面詳細內容,需要的朋友可以參考一下2021-11-11
Python?mistune庫靈活的Markdown解析器使用實例探索
本文將深入介紹Python?Mistune，包括其基本概念、安裝方法、示例代碼以及一些高級用法，以幫助大家充分利用這一工具來處理Markdown文本2024-01-01
這篇文章主要為大家詳細介紹一下Python的一個神操作，那就是實現(xiàn)亂序文件重新命名編號功能，文中的示例代碼講解詳細，感興趣的可以嘗試一下2022-08-08
過年過節(jié)大家的朋友圈是不是特別熱鬧,每當小編看見朋友圈有這種九宮格的照片就覺得特別秀,一直想自己什么時候也能來秀一個,所以直接拿這個練練手,酷炸朋友圈一波,直接進入主題,需要的朋友可以參考下2021-05-05
今天帶大家回顧python基礎知識,文中對Python函數(shù)嵌套作了非常詳細的知識總結,對正在學習python基礎的小伙伴們很有幫助,需要的朋友可以參考下2021-05-05
基于Python實現(xiàn)的影視數(shù)據(jù)智能分析系統(tǒng)
數(shù)據(jù)分析與可視化是當今數(shù)據(jù)分析的發(fā)展方向,大數(shù)據(jù)時代,數(shù)據(jù)資源具有海量特征,數(shù)據(jù)分析和可視化主要通過Python數(shù)據(jù)分析來實現(xiàn),本文給大家介紹了如何基于Python實現(xiàn)的影視數(shù)據(jù)智能分析系統(tǒng),文中給出了部分詳細代碼,感興趣的朋友跟著小編一起來看看吧2024-01-01
Python?turtle.shape()用法及實戰(zhàn)案例
turtle是Python自帶的一個小型的繪圖庫,它可以幫助我們快速地繪制簡單的圖形,這篇文章主要給大家介紹了關于Python?turtle.shape()用法及實戰(zhàn)案例的相關資料,需要的朋友可以參考下2024-03-03
Django的restframework接口框架自定義返回數(shù)據(jù)格式的示例詳解
這篇文章主要介紹了Django的restframework接口框架自定義返回數(shù)據(jù)格式,本文介紹了通過Django的restframework接口框架自定義Response返回對象來自定義返回數(shù)據(jù)格式，本文通過示例代碼給大家介紹的非常詳細，需要的朋友可以參考下2022-07-07
這篇文章主要介紹了python 基于wx實現(xiàn)音樂播放的示例代碼，幫助大家更好的理解和學習python，感興趣的朋友可以了解下2020-11-11