對pandas寫入讀取h5文件的方法詳解

更新時間：2018年12月28日 10:45:02 作者：hzau_yang

今天小編就為大家分享一篇對pandas寫入讀取h5文件的方法詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

1、引言

通過參考相關博客對hdf5格式簡要介紹。

hdf5在存儲的是支持壓縮，使用的方式是blosc，這個是速度最快的也是pandas默認支持的。使用壓縮可以提磁盤利用率，節(jié)省空間。開啟壓縮也沒有什么劣勢，只會慢一點點。壓縮在小數(shù)據量的時候優(yōu)勢不明顯，數(shù)據量大了才有優(yōu)勢。同時發(fā)現(xiàn)hdf讀取文件的時候只能是一次寫，寫的時候可以append，可以put，但是寫完成了之后關閉文件，就不能再寫了，會覆蓋。

另外，為什么單獨說pandas，主要因為本人目前對于h5py這個包的理解不是很深入，不知道如果使用該包存pd.DataFrame格式的文件，不像numpy格式文件可以直接存儲，因此本人只能依賴pandas自帶一些函數(shù)進行處理。

2、寫入文件

使用函數(shù)：pd.HDFStore

import numpy as np
import pandas as pd
####生成9000,0000條數(shù)據，9千萬條
a = np.random.standard_normal((90000000,4))
b = pd.DataFrame(a)
####普通格式存儲：
h5 = pd.HDFStore('/data/stock/test_s.h5','w')
h5['data'] = b
h5.close()

####壓縮格式存儲
h5 = pd.HDFStore('/data/stock/test_c4.h5','w', complevel=4, complib='blosc')
h5['data'] = b
h5.close()

3、讀取文件

使用函數(shù)：pd.read_hdf

參數(shù)：文件名，key

data=pd.read_hdf('/data/stock/test_c4.h5',key='data')

以上這篇對pandas寫入讀取h5文件的方法詳解就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

pandas
h5

python爬蟲添加請求頭代碼實例
這篇文章主要介紹了python爬蟲添加請求頭代碼實例,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2019-12-12
python 實現(xiàn)以相同規(guī)律打亂多組數(shù)據
這篇文章主要介紹了python 實現(xiàn)以相同規(guī)律打亂多組數(shù)據，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2021-03-03
Python使用eval函數(shù)解析和執(zhí)行字符串
在Python中,eval函數(shù)是一個非常強大的函數(shù),它可以將字符串作為代碼進行解析和執(zhí)行,本文主要介紹了如何使用eval函數(shù)解析和執(zhí)行字符串,需要的可以了解下
2024-01-01
Python辦公自動化從Excel中計算整理數(shù)據并寫入Word
這篇文章主要為大家介紹了Python辦公自動化從Excel中計算整理數(shù)據并寫入Word示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪
2022-06-06
Python中如何生成GeoJSON數(shù)據
這篇文章主要介紹了Python中生成GeoJSON數(shù)據,無論使用geojson庫還是geopandas庫，都可以生成包含地理空間數(shù)據的GeoJSON文件，文中介紹了使用這些庫生成GeoJSON數(shù)據的簡單示例，需要的朋友可以參考下
2023-10-10
Python模板的使用詳細講解
Django 模板是使用 Django 模板語言標記的一個文本文檔或Python字符串。模板引擎可以識別和解釋一些構造。主要是變量和標簽。模板是通過上下文來渲染的。渲染用變量的值替換變量，變量的值在上下文中查找，并執(zhí)行標簽。其他的一切都按原樣輸出
2022-10-10
快速排序的四種python實現(xiàn)（推薦）
這篇文章主要介紹了python實現(xiàn)快速排序算法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2019-04-04
python小練習之爬魷魚游戲的評價生成詞云
讀萬卷書不如行萬里路，只學書上的理論是遠遠不夠的，只有在實戰(zhàn)中才能獲得能力的提升，本篇文章手把手帶你用Python爬取熱火的魷魚游戲評價,大家可以在過程中查缺補漏，提升水平
2021-10-10
淺析Python中的方法重載
方法重載在?Python?中起著至關重要的作用,?這篇文章主要為大家詳細介紹了Python中方法重載及其優(yōu)點的相關知識,感興趣的小伙伴快跟隨小編一起學習一下吧
2023-10-10
Python?Pygame實戰(zhàn)之打磚塊小游戲
打磚塊最早是由雅達利公司開發(fā)的一款獨立游戲，也是無數(shù)人的童年記憶。本文將利用Python中的Pygame模塊制作經典的打磚塊游戲，需要的可以參考一下
2022-02-02