對標(biāo)mongodb存儲類JSON數(shù)據(jù)文檔統(tǒng)計(jì)分析詳解
一、文檔存儲的需求
很多的開發(fā)者都使用過mongodb,在mongodb中數(shù)據(jù)記錄是以文檔的形式存在的(類似于一種多級嵌套SQL的形式)。比如下面的JSON數(shù)據(jù)結(jié)構(gòu):dev_ip表示某一臺服務(wù)器的ip、location字段存放經(jīng)緯度、meminfo.total和meminfo.userd分別代表內(nèi)存總量和使用量。
[{ "dev_ip": "123.46.5.111", "location": [39.916527, 116.397128], "meminfo": { "total": 64, "used": 23.2 } }, { "dev_ip": "123.46.5.112", "location": [39.916144, 116.392582], "meminfo": { "total": 64, "used": 27.8 } }]
二、建表
存儲文檔需要使用到Map這種數(shù)據(jù)類型,在某些比較舊的版本中,Map數(shù)據(jù)類型還是實(shí)驗(yàn)性的,不能直接使用。如果想使用,需要執(zhí)行set allow_experimental_map_type = 1;
。
然后我們可以按照J(rèn)SON的數(shù)據(jù)結(jié)構(gòu)來建表,location是數(shù)組Array數(shù)據(jù)類型,meminfo是Map數(shù)據(jù)類型。
CREATE TABLE dev_meminfo ( dev_ip String, location Array(Float64), meminfo Map(String, Float32) ) ENGINE = MergeTree() ORDER BY dev_ip;
clickhouse提供了數(shù)組類型Array(T),數(shù)組類型由多個(gè)T元素組成。T可以是任意的基礎(chǔ)數(shù)據(jù)類型,或者也可以是數(shù)組類型。如果是數(shù)組類型就形成了多維數(shù)組,Cickhouse對多維數(shù)組的支持有限,所以不建議使用多維數(shù)組。數(shù)組里面所有的T元素的數(shù)據(jù)類型必須是一樣的,否則會拋出異常。
三、數(shù)據(jù)入庫
在linux環(huán)境下,我們可以將JSON數(shù)據(jù)保存為一個(gè)文檔,命名如:dev_meminfo.json。然后使用下面的命令行,完成文檔JSON數(shù)據(jù)的入庫。jq
的作用是將JSON數(shù)組及Map從結(jié)構(gòu)中剝離出來,從而符合JSONEachRow要求的輸入格式。
cat dev_meminfo.json |jq -c .[] | clickhouse-client --database acaidb -m -u acai --password '<你的密碼>' \ --query="INSERT INTO dev_meminfo FORMAT JSONEachRow"
或者我們可以直接使用INSERT語句來完成數(shù)據(jù)的單條插入,如下:
INSERT INTO dev_meminfo FORMAT JSONEachRow {"dev_ip": "123.46.5.112", "location": [39.916144, 116.392582],"meminfo": {"total": 64,"used": 27.8}};
四、查詢數(shù)據(jù)
select *
的方式查詢數(shù)據(jù):
# clickhouse-client --database acaidb -m -u acai --password '4rfv$RFV' --query="SELECT * FROM dev_meminfo" 123.46.5.111 [39.916527,116.397128] {'total':64,'used':23.2} 123.46.5.112 [39.916144,116.392582] {'total':64,'used':27.8}
使用字段名稱方式查詢數(shù)據(jù),需要注意的是Ciickhouse的數(shù)組的下標(biāo)是從0開始的,這與我們傳統(tǒng)編程開發(fā)中的規(guī)范是不一致的。
# clickhouse-client --database acaidb -m -u acai --password '4rfv$RFV' --query="SELECT dev_ip,location[1],location[2],meminfo['total'],meminfo['used'] FROM dev_meminfo" 123.46.5.111 39.916527 116.397128 64 23.2 123.46.5.112 39.916144 116.392582 64 27.8
五、總結(jié)
我們看到clickhouse可以代替mongodb進(jìn)行類JSON文檔數(shù)據(jù)的存儲,而且支持SQL查詢統(tǒng)計(jì)分析,這一點(diǎn)是比較吸引人的。我只是介紹了簡單的查詢,其實(shí)針對各種統(tǒng)計(jì)分析場景,clickhouse提供了超級多的統(tǒng)計(jì)分析函數(shù)、窗口函數(shù)等等,當(dāng)然針對數(shù)組的數(shù)據(jù)類型也有很多的統(tǒng)計(jì)分析函數(shù)。
更為值得注意的是:筆者看到一些測評文章,clickhouse的的統(tǒng)計(jì)分析性能是mongodb的近百倍之多(筆者自己尚未驗(yàn)證,請關(guān)注我的專欄后續(xù)文章)。但是也不是說clickhouse可以代替mongodb的所有應(yīng)用場景,至少面向用戶的并發(fā)請求的場景clickhouse是不滿足的,因?yàn)閏lickhouse的定位是數(shù)據(jù)倉庫,主要是面向數(shù)據(jù)分析OLAP場景,而不是面向用戶高并發(fā)的聯(lián)機(jī)事務(wù)處理OLTP。
到此這篇關(guān)于對標(biāo)mongodb存儲類JSON數(shù)據(jù)文檔統(tǒng)計(jì)分析的文章就介紹到這了,更多相關(guān)mongodb存儲類JSON數(shù)據(jù)文檔統(tǒng)計(jì)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
centos離線安裝mongodb-database-tools方法詳解
這篇文章主要介紹了centos離線安裝mongodb-database-tools方法詳解的相關(guān)資料,需要的朋友可以參考下2022-11-11mongodb實(shí)現(xiàn)數(shù)組對象求和方法實(shí)例
這篇文章主要給大家介紹了關(guān)于mongodb實(shí)現(xiàn)數(shù)組對象求和的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-01-01MongoDB中的常用操作$push、$pushAll和$pull示例詳解
MongoDB從2.2版本開始支持$push操作符,$push是用于在數(shù)組中添加一個(gè)元素的更新操作符,它將指定的值追加到數(shù)組的末尾,本文給大家介紹MongoDB的常用操作$push、$pushAll和$pull,感興趣的朋友一起看看吧2023-12-12MongoDB數(shù)據(jù)庫安裝配置、基本操作實(shí)例詳解
這篇文章主要介紹了MongoDB數(shù)據(jù)庫安裝配置、基本操作,結(jié)合實(shí)例形式詳細(xì)分析了MongoDB數(shù)據(jù)庫安裝配置具體步驟、相關(guān)命令與基本操作實(shí)現(xiàn)技巧,需要的朋友可以參考下2020-01-01springboot整合mongodb?changestream的示例代碼
Chang?Stream(變更記錄流)?是指collection(數(shù)據(jù)庫集合)的變更事件流,應(yīng)用程序通過db.collection.watch()這樣的命令可以獲得被監(jiān)聽對象的實(shí)時(shí)變更,本文給大家介紹springboot整合mongodb?changestream的示例代碼,感興趣的朋友一起看看吧2022-02-02Mongodb數(shù)據(jù)庫誤刪后的恢復(fù)方法(兩種)
本文給大家分享兩種方法來實(shí)現(xiàn)Mongodb數(shù)據(jù)庫誤刪后的恢復(fù),每種方法給大家介紹的都非常詳細(xì),需要的朋友參考下吧2018-08-08使用Mongodb實(shí)現(xiàn)打卡簽到系統(tǒng)的實(shí)例代碼
這篇文章主要介紹了使用Mongodb實(shí)現(xiàn)打卡簽到系統(tǒng)的示例代碼,本文通過實(shí)例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-05-05