Python 等分切分?jǐn)?shù)據(jù)及規(guī)則命名的實(shí)例代碼
將一份一億多條數(shù)據(jù)的csv文件等分為10份,代碼如下所示:
import pandas as pd data = pd.read_csv('C:\\Users\\PycharmProjects\\SplitData\\data\\UserBehavior.csv') # 路徑則根據(jù)個(gè)人存放項(xiàng)目文件的習(xí)慣 num = 0 for i in range(1, 11): start = num num = num + int(data.shape[0] / 10) file = data.iloc[start:num,] file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False) # index=False是不想切分后的文件出現(xiàn)序號(hào)
注意:如果此時(shí)文件的路徑包含有中文,則必須改成以下的代碼:
import pandas as pd f = open('C:\\Users\\PycharmProjects\\數(shù)據(jù)切分\\data\\UserBehavior.csv') data = pd.read_csv(f) num = 0 for i in range(1, 11): start = num num = num + int(data.shape[0] / 10) file = data.iloc[start:num,] file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False)
但是使用這種方法調(diào)用文件進(jìn)內(nèi)存,加重了內(nèi)存的負(fù)擔(dān),兩次賦值相當(dāng)于內(nèi)存占用乘2,此方法不建議使用,還是將路徑改為英文名。
總結(jié)
以上所述是小編給大家介紹的Python 等分切分?jǐn)?shù)據(jù)及規(guī)則命名的實(shí)例代碼,希望對(duì)大家有所幫助,如果大家有任何疑問(wèn)請(qǐng)給我留言,小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持!
如果你覺(jué)得本文對(duì)你有幫助,歡迎轉(zhuǎn)載,煩請(qǐng)注明出處,謝謝!
- 基于python實(shí)現(xiàn)對(duì)文件進(jìn)行切分行
- Python實(shí)現(xiàn)filter函數(shù)實(shí)現(xiàn)字符串切分
- python按比例隨機(jī)切分?jǐn)?shù)據(jù)的實(shí)現(xiàn)
- Python 最大概率法進(jìn)行漢語(yǔ)切分的方法
- 分享Python切分字符串的一個(gè)不錯(cuò)方法
- python實(shí)現(xiàn)根據(jù)文件關(guān)鍵字進(jìn)行切分為多個(gè)文件的示例
- Python數(shù)據(jù)集切分實(shí)例
- 實(shí)例分析python3實(shí)現(xiàn)并發(fā)訪問(wèn)水平切分表
- Ubuntu下使用Python實(shí)現(xiàn)游戲制作中的切分圖片功能
- python實(shí)現(xiàn)按行切分文本文件的方法
- Python自然語(yǔ)言處理之切分算法詳解
相關(guān)文章
python實(shí)現(xiàn)TCPserver的使用示例
python實(shí)現(xiàn)TCPserver是一件簡(jiǎn)單的事情,只要通過(guò)socket這個(gè)模塊就可以實(shí)現(xiàn),本文就來(lái)介紹一下python實(shí)現(xiàn)TCPserver的使用示例,感興趣的可以了解一下2023-10-10Python連接HDFS實(shí)現(xiàn)文件上傳下載及Pandas轉(zhuǎn)換文本文件到CSV操作
這篇文章主要介紹了Python連接HDFS實(shí)現(xiàn)文件上傳下載及Pandas轉(zhuǎn)換文本文件到CSV操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-06-06通過(guò)python調(diào)用adb命令對(duì)App進(jìn)行性能測(cè)試方式
這篇文章主要介紹了通過(guò)python調(diào)用adb命令對(duì)App進(jìn)行性能測(cè)試方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-04-04Python實(shí)現(xiàn)數(shù)通設(shè)備端口使用情況監(jiān)控實(shí)例
這篇文章主要介紹了Python實(shí)現(xiàn)數(shù)通設(shè)備端口使用情況監(jiān)控的方法,涉及Python針對(duì)設(shè)備監(jiān)控的操作技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-07-07Python實(shí)現(xiàn)隨機(jī)取一個(gè)矩陣數(shù)組的某幾行
今天小編就為大家分享一篇Python實(shí)現(xiàn)隨機(jī)取一個(gè)矩陣數(shù)組的某幾行,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-11-11python中調(diào)試或排錯(cuò)的五種方法示例
這篇文章主要給大家介紹了關(guān)于python中調(diào)試或排錯(cuò)的五種方法,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用Python具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09python3用urllib抓取貼吧郵箱和QQ實(shí)例
在本篇文章里小編給大家整理了關(guān)于python3中運(yùn)用urllib抓取貼吧的郵箱以及QQ的實(shí)例內(nèi)容,需要的朋友們可以學(xué)習(xí)下。2020-03-03