快捷導(dǎo)航

利用pandas向一個(gè)csv文件追加寫(xiě)入數(shù)據(jù)的實(shí)現(xiàn)示例

更新時(shí)間：2020年04月23日 10:56:15 作者：數(shù)據(jù)之美ya

這篇文章主要介紹了利用pandas向一個(gè)csv文件追加寫(xiě)入數(shù)據(jù)的實(shí)現(xiàn)示例，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

我們?cè)絹?lái)越多的使用pandas進(jìn)行數(shù)據(jù)處理，有時(shí)需要向一個(gè)已經(jīng)存在的csv文件寫(xiě)入數(shù)據(jù)，傳統(tǒng)的方法之前我也有些過(guò)，向txt，excel文件寫(xiě)入數(shù)據(jù)，傳送門：Python將二維列表（list）的數(shù)據(jù)輸出（TXT，Excel）

pandas to_csv()只能在新文件寫(xiě)數(shù)據(jù)？當(dāng)然不是！

pandas to_csv() 是可以向已經(jīng)存在的具有相同結(jié)構(gòu)的csv文件增加dataframe數(shù)據(jù)。

df.to_csv('my_csv.csv', mode='a', header=False)

to_csv()方法mode默認(rèn)為w，我們加上mode='a'，便可以追加寫(xiě)入數(shù)據(jù)。

pandas讀寫(xiě)文件，處理數(shù)據(jù)的效率太高了，所以我們盡量使用pandas的進(jìn)行輸出。

下面讓我們來(lái)看一下示例

# -*- coding:utf-8 -*-
import os
import time
import pandas as pd
 
from multiprocessing import Pool
 
def merge(filename):
  return pd.read_csv('./fun_data/'+filename)
 
if __name__ == "__main__":
  file_list = os.listdir('./fun_data')
  e1 = time.time()
 
  pool = Pool(20)
  result = pool.map(merge,file_list)
  pool.close()
  pool.join()
 
  e2 = time.time()
  print(e2 - e1)
 
  for i in result:
    i.to_csv('./static.csv',mode='a',encoding='utf-8',header=False,index=False)
  e3 = time.time()
  print(e3-e2)

到此這篇關(guān)于利用pandas向一個(gè)csv文件追加寫(xiě)入數(shù)據(jù)的實(shí)現(xiàn)示例的文章就介紹到這了,更多相關(guān)pandas csv追加寫(xiě)入內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

相關(guān)文章

Python descriptor(描述符)的實(shí)現(xiàn)
這篇文章主要介紹了Python descriptor(描述符)的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2020-11-11
python靜態(tài)方法實(shí)例
這篇文章主要介紹了python靜態(tài)方法,實(shí)例分析了python靜態(tài)方法的使用技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下
2015-01-01
python腳本實(shí)現(xiàn)統(tǒng)計(jì)日志文件中的ip訪問(wèn)次數(shù)代碼分享
這篇文章主要介紹了python腳本實(shí)現(xiàn)統(tǒng)計(jì)日志文件中的ip訪問(wèn)次數(shù)代碼分享,注意此腳本只適用ip在每行開(kāi)頭的日志文件,需要的朋友可以參考下
2014-08-08
解決Scrapy安裝錯(cuò)誤:Microsoft Visual C++ 14.0 is required...
下面小編就為大家?guī)?lái)一篇解決Scrapy安裝錯(cuò)誤:Microsoft Visual C++ 14.0 is required...的問(wèn)題。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2017-10-10
教大家玩轉(zhuǎn)Python字符串處理的七種技巧
這篇文章主要給大家介紹了關(guān)于學(xué)會(huì)Python字符串處理的七種技巧，其中包括字符串的連接和合并、字符串的切片和相乘、字符串的分割、字符串的開(kāi)頭和結(jié)尾的處理、字符串的查找和匹配、字符串的替換以及字符串中去掉一些字符等操作，需要的朋友可以參考。
2017-03-03
Win8.1下安裝Python3.6提示0x80240017錯(cuò)誤的解決方法
這篇文章主要為大家詳細(xì)介紹了Win8.1下安裝Python3.6提示0x80240017錯(cuò)誤的解決方法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2018-07-07
python實(shí)現(xiàn)兩個(gè)文件合并功能
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)兩個(gè)文件合并功能，一個(gè)簡(jiǎn)單的文件合并程序，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2018-04-04
win10下Python3.6安裝、配置以及pip安裝包教程
下面小編就為大家?guī)?lái)一篇win10下Python3.6安裝、配置以及pip安裝包教程。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2017-10-10
關(guān)于python3.9安裝wordcloud出錯(cuò)的問(wèn)題及解決辦法
這篇文章主要介紹了關(guān)于python3.9安裝wordcloud出錯(cuò)的問(wèn)題及解決辦法,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2020-11-11
Python本地及虛擬解釋器配置過(guò)程解析
這篇文章主要介紹了Python本地及虛擬解釋器配置過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-10-10