Pandas讀存JSON數(shù)據(jù)操作示例詳解
引言
本文介紹的如何使用Pandas來讀取各種json格式的數(shù)據(jù),以及對json數(shù)據(jù)的保存
讀取json數(shù)據(jù)
使用的是pd.read_json函數(shù),見官網(wǎng):pandas.pydata.org/docs/refere…
pandas.read_json( path_or_buf=None, # 文件路徑 orient=None, # 取值:split、records、index、columns、values typ='frame', # 要恢復(fù)的對象類型(系列或框架),默認(rèn)'框架'. dtype=None, # boolean或dict,默認(rèn)為True convert_axes=None, convert_dates=True, keep_default_dates=True, numpy=False, precise_float=False, date_unit=None, encoding=None, # 編碼 lines=False, # 布爾值,默認(rèn)為False,每行讀取該文件作為json對象 chunksize=None, # 分塊讀取大小 compression='infer', nrows=None, storage_options=None)
模擬數(shù)據(jù)
模擬了一份數(shù)據(jù),vscode打開內(nèi)容:
可以看到默認(rèn)情況下的讀取效果:
主要有下面幾個(gè)特點(diǎn):
- 第一層級字典的鍵當(dāng)做了DataFrame的字段
- 第二層級的鍵默認(rèn)當(dāng)做了行索引
下面重點(diǎn)解釋下參數(shù)orident
參數(shù)orident
取值可以是:split、records、index、columns、values
orident="split"
json文件的key的名字只能為index,cloumns,data
;不多也不能少。
split' : dict like {index -> [index], columns -> [columns], data -> [values]}
In [3]:
data1 = '{"index":[1,2],"columns":["name","age"],"data":[["xiaoming",28], ["zhouhong",20]]}'
In [4]:
df1 = pd.read_json(data1, orient="split") df1
結(jié)果表明:
- index:當(dāng)做行索引
- columns:列名
- data:具體的取值
如果我們改變其中一個(gè)key,比如data換成information就報(bào)錯(cuò)了:
orient="records"
當(dāng)orient="records"的時(shí)候,數(shù)據(jù)是以字段 + 取值的形式存放的。
‘records' : list like [{column -> value}, … , {column -> value}]
In [7]:
data2 = '[{"name":"Peter","sex":"male","age":20},{"name":"Tom","age":27},{"sex":"male"}]'
In [8]:
df2 = pd.read_json(data2, orient="records") df2
生成數(shù)據(jù)的特點(diǎn):
- 列表中元素是以字典的形式存放
- 列表中每個(gè)元素(字典)的key,如果沒有出現(xiàn)則取值為NaN
orient="index"
當(dāng)orient="index"的時(shí)候,數(shù)據(jù)是以行的形式來存儲。
dict like {index -> {column -> value}}
In [9]:
data3 = '{"id1":{"name":"Mike","age":20,"sex":"male","score":80},"id2":{"name":"Jack","sex":"female","score":90}}'
In [10]:
df3 = pd.read_json(data3, orient="index") df3
- 每個(gè)id存放一條數(shù)據(jù)
- 未出現(xiàn)的key取值為NaN
orient="columns"
在這種情況下數(shù)據(jù)是以列的形式來存儲的。
dict like {column -> {index -> value}}
In [11]:
data4 = '{"sex":{"id1":"Peter","id2":"Tom","id3":"Jimmy"},"age":{"id1": 20,"id3":28}}'
In [12]:
df4 = pd.read_json(data4, orient="columns") df4
如果我們對上面的結(jié)果實(shí)施轉(zhuǎn)置(兩種方法):
我們會發(fā)現(xiàn)這個(gè)結(jié)果和orient="index"的讀取結(jié)果是相同的:
orient="values"
在這種情況下,數(shù)據(jù)是以數(shù)組的形式存在的:
‘values' : just the values array
In [16]:
data5 = '[["深圳",2000],["廣州",1900],["北京",2500]]'
In [17]:
df5 = pd.read_json(data5, orient="values") df5
對生成的列名進(jìn)行重新命名:
to_json
將DataFrame數(shù)據(jù)保存成json格式的文件
DataFrame.to_json(path_or_buf=None, # 路徑 orient=None, # 轉(zhuǎn)換類型 date_format=None, # 日期轉(zhuǎn)換類型 double_precision=10, # 小數(shù)保留精度 force_ascii=True, # 是否顯示中文 date_unit='ms', # 日期顯示最小單位 default_handler=None, lines=False, compression='infer', index=True, # 是否保留行索引 indent=None, # 空格數(shù) storage_options=None)
官網(wǎng)學(xué)習(xí)地址:
pandas.pydata.org/docs/refere…
1、默認(rèn)保存
df.to_json("df_to_json_1.json", force_ascii=True) # 不顯示中文
顯示結(jié)果為一行數(shù)據(jù),且存在unicode編碼,中文無法顯示:
{"sex":{"Jimmy":"male","Tom":"female","Jack":"male","Mike":"female"},"age":{"Jimmy":20,"Tom":18,"Jack":29,"Mike":26},"height":{"Jimmy":187,"Tom":167,"Jack":178,"Mike":162},"address":{"Jimmy":"\u6df1\u5733","Tom":"\u4e0a\u6d77","Jack":"\u5317\u4eac","Mike":"\u5e7f\u5dde"}}
2、顯示中文
df.to_json("df_to_json_2.json", force_ascii=False) # 顯示中文
中文能夠正常顯示:
{"sex":{"Jimmy":"male","Tom":"female","Jack":"male","Mike":"female"},"age":{"Jimmy":20,"Tom":18,"Jack":29,"Mike":26},"height":{"Jimmy":187,"Tom":167,"Jack":178,"Mike":162},"address":{"Jimmy":"深圳","Tom":"上海","Jack":"北京","Mike":"廣州"}}
3、不同的orient顯示 + 換行(indent參數(shù))
df.to_json("df_to_json_3.json", force_ascii=False, orient="index",indent=4) # index + 換行
顯示結(jié)果中鍵為name信息:
4、改變index
df.to_json("df_to_json_4.json", force_ascii=False, orient="columns",indent=4) # columns + 換行
以上就是Pandas讀存JSON數(shù)據(jù)操作示例詳解的詳細(xì)內(nèi)容,更多關(guān)于Pandas讀存JSON數(shù)據(jù)的資料請關(guān)注腳本之家其它相關(guān)文章!
- Python基于pandas實(shí)現(xiàn)json格式轉(zhuǎn)換成dataframe的方法
- 對pandas處理json數(shù)據(jù)的方法詳解
- 讀Json文件生成pandas數(shù)據(jù)框詳情
- python使用pandas讀取json文件并進(jìn)行刷選導(dǎo)出xlsx文件的方法示例
- Pandas實(shí)現(xiàn)解析JSON數(shù)據(jù)與導(dǎo)出的示例詳解
- Python?Pandas實(shí)現(xiàn)將嵌套JSON數(shù)據(jù)轉(zhuǎn)換DataFrame
- pandas讀取HTML和JSON數(shù)據(jù)的實(shí)現(xiàn)示例
- Python使用pandas讀取Excel并選取列轉(zhuǎn)json
- Pandas JSON的處理使用
相關(guān)文章
使用selenium+chromedriver+xpath爬取動(dòng)態(tài)加載信息
這篇文章主要介紹了使用selenium+chromedriver+xpath爬取動(dòng)態(tài)加載信息2022-02-02基于python的Tkinter實(shí)現(xiàn)一個(gè)簡易計(jì)算器
這篇文章主要介紹了基于python的Tkinter實(shí)現(xiàn)一個(gè)簡易計(jì)算器的相關(guān)資料,還為大家分享了僅用用50行Python代碼實(shí)現(xiàn)的簡易計(jì)算器,感興趣的小伙伴們可以參考一下2015-12-12Python?Flask框架實(shí)現(xiàn)Proteus仿真Arduino與網(wǎng)頁數(shù)據(jù)交互
這篇文章主要介紹了Python?Flask框架實(shí)現(xiàn)Proteus仿真Arduino與網(wǎng)頁數(shù)據(jù)交互,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)吧2022-11-11解決pytorch 數(shù)據(jù)類型報(bào)錯(cuò)的問題
這篇文章主要介紹了解決pytorch 數(shù)據(jù)類型報(bào)錯(cuò)的問題,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03Python3調(diào)用百度AI識別圖片中的文字功能示例【測試可用】
這篇文章主要介紹了Python3調(diào)用百度AI識別圖片中的文字功能,結(jié)合實(shí)例形式分析了Python3安裝及使用百度AI接口的相關(guān)操作技巧,并附帶說明了百度官方AI平臺的注冊及接口調(diào)用操作方法,需要的朋友可以參考下2019-03-03Python pandas求方差和標(biāo)準(zhǔn)差的方法實(shí)例
標(biāo)準(zhǔn)差(或方差),分為 總體標(biāo)準(zhǔn)差(方差)和 樣本標(biāo)準(zhǔn)差(方差),下面這篇文章主要給大家介紹了關(guān)于pandas求方差和標(biāo)準(zhǔn)差的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),需要的朋友可以參考下2021-08-08基于python寫個(gè)國慶假期倒計(jì)時(shí)程序
國慶假期快到了,想查查還有幾天幾小時(shí)到假期,這對程序員小菜一碟,輕輕松松用python寫個(gè)倒計(jì)時(shí)程序(天、時(shí)、分、秒),助你熬到假期2021-09-09