python數據分析之DataFrame內存優(yōu)化
💃今天看案例的時候看見了一個關于pandas數據的內存壓縮功能，特地來記錄一下。
🎒先說明一下情況，pandas處理幾百兆的dataframe是沒有問題的，但是我們在處理幾個G甚至更大的數據時，就會特別占用內存，對內存小的用戶特別不好，所以對數據進行壓縮是很有必要的。
1. pandas查看數據占用大小
給大家看一下這么查看自己的內存大?。?mark>user_log是dataframe的名字）
#方法1 就是使用查看dataframe信息的命令
user_log.info()
#方法2 使用memory_usage()或者getsizeof(user_log)
import time
import sys
print('all_data占據內存約: {:.2f} GB'.format(user_log.memory_usage().sum()/ (1024**3)))
print('all_data占據內存約: {:.2f} GB'.format(sys.getsizeof(user_log)/(1024**3)))
我這里有個dataframe文件叫做user_log，原始大小為1.91G，然后pandas讀取出來，內存使用了2.9G。
看一下原始數據大?。?.91G
pandas讀取后的內存消耗：2.9G
2. 對數據進行壓縮
- 數值類型的列進行降級處理（‘int16', ‘int32', ‘int64', ‘float16', ‘float32', ‘float64'）
- 字符串類型的列轉化為類別類型（category）
- 字符串類型的列的類別數超過總行數的一半時，建議使用object類型
我們這里主要采用對數值型類型的數據進行降級，說一下降級是什么意思意思呢，可以比喻為一個一個抽屜，你有一個大抽屜，但是你只裝了鑰匙，這就會有很多空間浪費掉，如果我們將鑰匙放到一個小抽屜里，就可以節(jié)省很多空間，就像字符的類型int32 比int8占用空間大很多，但是我們的數據使用int8類型就夠了，這就導致數據占用了很多空間，我們要做的就是進行數據類型轉換，節(jié)省內存空間。
壓縮數值的這段代碼是從天池大賽的某個項目中看見的，查閱資料后發(fā)現，大家壓縮內存都是基本固定的函數形式
def reduce_mem_usage(df):
starttime = time.time()
numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64']
start_mem = df.memory_usage().sum() / 1024**2
for col in df.columns:
col_type = df[col].dtypes
if col_type in numerics:
c_min = df[col].min()
c_max = df[col].max()
if pd.isnull(c_min) or pd.isnull(c_max):
continue
if str(col_type)[:3] == 'int':
if c_min > np.iinfo(np.int8).min and c_max < np.iinfo(np.int8).max:
df[col] = df[col].astype(np.int8)
elif c_min > np.iinfo(np.int16).min and c_max < np.iinfo(np.int16).max:
df[col] = df[col].astype(np.int16)
elif c_min > np.iinfo(np.int32).min and c_max < np.iinfo(np.int32).max:
df[col] = df[col].astype(np.int32)
elif c_min > np.iinfo(np.int64).min and c_max < np.iinfo(np.int64).max:
df[col] = df[col].astype(np.int64)
else:
if c_min > np.finfo(np.float16).min and c_max < np.finfo(np.float16).max:
df[col] = df[col].astype(np.float16)
elif c_min > np.finfo(np.float32).min and c_max < np.finfo(np.float32).max:
df[col] = df[col].astype(np.float32)
else:
df[col] = df[col].astype(np.float64)
end_mem = df.memory_usage().sum() / 1024**2
print('-- Mem. usage decreased to {:5.2f} Mb ({:.1f}% reduction),time spend:{:2.2f} min'.format(end_mem,
100*(start_mem-end_mem)/start_mem,
(time.time()-starttime)/60))
return df
用壓縮的方式將數據導入user_log2中
#首先讀取到csv中如何傳入函數生稱新的csv user_log2=reduce_mem_usage(pd.read_csv(r'/Users/liucong/MainFiles/ML/tianchi/tianmiao/user_log_format1.csv'))
讀取成功：內訓大小為890.48m 減少了69.6%，效果顯著
查看壓縮后的數據集信息：類型發(fā)生了變化，數量變小了
3. 參考資料
《天池大賽》
《kaggle大賽》
鏈接: pandas處理datafarme節(jié)約內存.
到此這篇關于python數據分析之DataFrame內存優(yōu)化的文章就介紹到這了,更多相關python DataFrame內存優(yōu)化內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要為大家想想介紹了Python中Flask數據庫的連接與使用，文中的示例代碼講解詳細，具有一定的借鑒價值，感興趣的小伙伴可以學習一下2023-02-02
在本篇文章里小編給大家分享的是一篇關于python中判斷文件結束符的具體方法，有興趣的朋友們可以參考學習下。2020-08-08
如果在主線程執(zhí)行耗時操作,比如 循環(huán)、sleep、wait 異步線程執(zhí)行 會導致 UI 界面進入無響應狀態(tài),我們可以采用以下兩種方式異步處理：使用QThread 或 QTimer,本文給大家介紹了PyQt5界面無響應的解決方案,需要的朋友可以參考下2024-05-05
圖像分割就是把圖像分成若干個特定的、具有獨特性質的區(qū)域并提出感興趣目標的技術和過程。本文將為大家分享兩個用Python實現像分割增強的方法，需要的可以參考一下2022-03-03
這篇文章主要介紹了Python中的random()方法的使用,是Python入門的基礎知識,需要的朋友可以參考下2015-05-05
這篇文章主要為大家詳細介紹了python3+PyQt5重新實現自定義數據拖放處理，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-04-04
Flask sqlalchemy一對多與多對一與一對一及多對多關系介紹
這篇文章主要介紹了Flask sqlalchemy一對多與多對一與一對一及多對多關系介紹，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2022-09-09
本文主要介紹了Django使用HTTP協議向服務器傳參方式小結，用戶發(fā)送請求時攜帶的參數后端需要使用，而不同的發(fā)送參數的方式對應了不同的提取參數的方式，本文就詳細的介紹一下2021-08-08
這篇文章主要介紹了使用 python 實現單人AI 掃雷游戲,今天我們用 Python 完成這個小程序，并且用AI來學習并實現它，需要的朋友可以參考下2021-08-08
本文主要介紹了Python中Matplotlib圖像添加標簽的方法實現，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-04-04