StarRocks簡介與搭建使用詳解
StarRocks簡介
StarRocks 是一款高速、實時、全場景的MPP（大規(guī)模并行處理）分析型數(shù)據(jù)庫系統(tǒng)，專為現(xiàn)代數(shù)據(jù)分析場景設(shè)計，強調(diào)亞秒級查詢性能和高并發(fā)能力。它兼容MySQL協(xié)議，使得用戶可以利用現(xiàn)有的MySQL客戶端工具和BI工具進行查詢和數(shù)據(jù)分析。StarRocks基于MPP架構(gòu)，采用全向量化執(zhí)行引擎、列式存儲技術(shù)和智能優(yōu)化器等先進技術(shù)，實現(xiàn)了數(shù)據(jù)的快速加載、實時更新以及復(fù)雜查詢的高效處理。
可以滿足企業(yè)級用戶的多種分析需求，廣泛應(yīng)用于實時數(shù)倉、OLAP 報表、數(shù)據(jù)湖分析等場景。
MPP (Massively Parallel Processing)，即大規(guī)模并行處理。是將任務(wù)并行的分散到多個服務(wù)器和節(jié)點上，在每個節(jié)點上計算完成后，將各自部分的結(jié)果匯總在一起得到最終的結(jié)果(與Hadoop相似)。
一、應(yīng)用場景
OLAP 多維分析
? 利用 StarRocks 的 MPP 框架和向量化執(zhí)行引擎，用戶可以靈活的選擇雪花模型，星型模型，寬表模型 或者預(yù)聚合模型。適用于靈活配置的 多維分析報表，業(yè)務(wù)場景包括：
- 用戶行為分析
- 用戶畫像、標簽分析、圈人
- 跨主題業(yè)務(wù)分析
- 財務(wù)報表
- 系統(tǒng)監(jiān)控分析
實時數(shù)據(jù)倉庫
? 設(shè)計和實現(xiàn)了 Primary-Key 模型，能夠 實時更新數(shù)據(jù)并極速查詢，可以 秒級同步 TP (Transaction Processing) 數(shù)據(jù)庫的變化，構(gòu)建實時數(shù)倉，業(yè)務(wù)場景包括：
- 電商大促數(shù)據(jù)分析
- 物流行業(yè)的運單分析
- 金融行業(yè)績效分析、指標計算 直播質(zhì)量分析
- 廣告投放分析
- 管理駕駛艙
高并發(fā)查詢
StarRocks 通過良好的數(shù)據(jù)分布特性，靈活的索引以及物化視圖等特性，可以解決面向用戶側(cè)的分析 場景，業(yè)務(wù)場景包括：
- 廣告主報表分析
- 零售行業(yè)渠道人員分析
- SaaS 行業(yè)面向用戶分析報表
- Dashboard 多頁面分析
統(tǒng)一分析
- 通過使用一套系統(tǒng)解決多維分析、高并發(fā)查詢、預(yù)計算、實時分析查詢等場景，降低系統(tǒng)復(fù)雜度和 多技術(shù)棧開發(fā)與維護成本。
- 使用 StarRocks 統(tǒng)一管理數(shù)據(jù)湖和數(shù)據(jù)倉庫，將高并發(fā)和實時性要求很高的業(yè)務(wù)放在 StarRocks 中 分析，也可以使用 External Catalog 和外部表進行數(shù)據(jù)湖上的分析
二、StarRocks與MySQL比較
StarRocks與MySQL的相同點：
- 兼容性：StarRocks支持MySQL協(xié)議，用戶可以直接使用MySQL客戶端進行查詢，降低了遷移和使用門檻。
- SQL語法：基本遵循MySQL的SQL語法，使得熟悉MySQL的用戶能夠快速適應(yīng)。
StarRocks與MySQL的不同點：
- 應(yīng)用場景：MySQL主要面向OLTP（在線事務(wù)處理）場景，而StarRocks專注于OLAP（在線分析處理）領(lǐng)域，尤其擅長海量數(shù)據(jù)的批量查詢和實時分析。
- 架構(gòu)設(shè)計：StarRocks采用MPP架構(gòu)，能夠充分利用分布式計算資源，實現(xiàn)大規(guī)模數(shù)據(jù)的并行處理，相較于MySQL的單機或多主從架構(gòu)，更適合大數(shù)據(jù)分析。
- 存儲與優(yōu)化：StarRocks采用列式存儲和向量化執(zhí)行引擎，大大提高了數(shù)據(jù)壓縮率和查詢速度，尤其是針對大數(shù)據(jù)量、低延遲的復(fù)雜查詢場景表現(xiàn)優(yōu)異。
- 數(shù)據(jù)導(dǎo)入與更新：StarRocks支持實時數(shù)據(jù)攝入，允許用戶快速加載大量數(shù)據(jù)，并對已有數(shù)據(jù)進行實時更新，而MySQL在處理大規(guī)模數(shù)據(jù)批處理和實時分析時效率相對較弱。
StarRocks的優(yōu)點：
- 高性能：極致的查詢性能和并發(fā)能力，適用于實時業(yè)務(wù)報表、實時數(shù)據(jù)分析等場景。
- 易用性：兼容MySQL協(xié)議和豐富的生態(tài)系統(tǒng)，易于集成現(xiàn)有工具和環(huán)境。
- 擴展性：支持水平擴展，可根據(jù)業(yè)務(wù)需求動態(tài)增減計算和存儲資源。
- 實時性：支持實時數(shù)據(jù)攝取和更新，滿足實時數(shù)據(jù)分析需求。
StarRocks的缺點（或挑戰(zhàn)）：
- 適用范圍：盡管高度優(yōu)化，但對于需要強事務(wù)一致性保證的OLTP場景，相比傳統(tǒng)的關(guān)系型數(shù)據(jù)庫可能不占優(yōu)勢。
- 成熟度：相比于MySQL等久經(jīng)市場考驗的產(chǎn)品，StarRocks作為新興的分析型數(shù)據(jù)庫，社區(qū)和技術(shù)支持的成熟度可能還在不斷提升中。
- 生態(tài)建設(shè)：盡管兼容MySQL協(xié)議，但在特定插件、第三方工具支持等方面，與MySQL龐大的生態(tài)系統(tǒng)相比可能仍有差距。
三、系統(tǒng)架構(gòu)
- 前端（Frontend, FE）節(jié)點
- 作用：FE節(jié)點負責(zé)處理客戶端的所有交互，包括SQL解析、查詢優(yōu)化、元數(shù)據(jù)管理和集群協(xié)調(diào)。
- 構(gòu)成：由多個FE節(jié)點組成，其中包含follower和observer角色，通過leader選舉機制確保高可用性。
- 功能
- 接收并解析SQL查詢請求。
- 生成高效的查詢執(zhí)行計劃。
- 維護全局的元數(shù)據(jù)信息，如表結(jié)構(gòu)、分區(qū)信息、節(jié)點狀態(tài)等。
- 負責(zé)整個系統(tǒng)的資源調(diào)度和任務(wù)分配。
- 后端（Backend, BE）節(jié)點
- 作用：BE節(jié)點承擔(dān)實際的數(shù)據(jù)存儲和計算工作，是執(zhí)行查詢的核心部分。
- 構(gòu)成：多個BE節(jié)點構(gòu)成數(shù)據(jù)存儲和處理集群，每個節(jié)點都有自己的計算和存儲資源。
- 功能
- 存儲和管理用戶數(shù)據(jù)，采用列式存儲和多級索引優(yōu)化。
- 執(zhí)行FE節(jié)點下發(fā)的查詢?nèi)蝿?wù)，在本地節(jié)點并行處理數(shù)據(jù)。
- 支持數(shù)據(jù)的分布式存儲和并行計算，實現(xiàn)快速數(shù)據(jù)檢索和聚合。
- Broker
? StarRocks中和外部HDFS/對象存儲等外部數(shù)據(jù)對接的中轉(zhuǎn)服務(wù)，輔助提供導(dǎo)入導(dǎo)出功能。
數(shù)據(jù)分布與復(fù)制
- StarRocks的數(shù)據(jù)表會被劃分為多個tablet（數(shù)據(jù)分片），這些tablet均勻分布在BE節(jié)點上，形成分布式數(shù)據(jù)存儲。
- 為了實現(xiàn)高可用和容錯，StarRocks支持數(shù)據(jù)的多副本備份，每個tablet可以在不同BE節(jié)點上有多份拷貝。
查詢處理流程
- 客戶端提交SQL查詢至任意一個FE節(jié)點。
- FE節(jié)點解析SQL語句，生成最優(yōu)查詢計劃，并將執(zhí)行計劃分解成子任務(wù)發(fā)送給相應(yīng)的BE節(jié)點。
- 各個BE節(jié)點并行執(zhí)行子任務(wù)，并將結(jié)果返回給FE節(jié)點。
- FE節(jié)點收集各BE節(jié)點的結(jié)果，并進行必要的合并與排序，最終將查詢結(jié)果返回給客戶端。
集群擴展與穩(wěn)定性
- StarRocks通過增加FE和BE節(jié)點數(shù)量來線性擴展處理能力和存儲容量。
- 通過心跳機制監(jiān)控節(jié)點健康狀況，并自動調(diào)整負載均衡和故障轉(zhuǎn)移，保障系統(tǒng)的穩(wěn)定性和可用性。
四、StarRocks搭建
進入官網(wǎng)：Download StarRocks Free | StarRocks
下載StarRocks版本3.0.9：
上傳到虛擬機：
解壓：
tar -zxvf StarRocks-3.0.9.tar.gz -C /opt
進入目錄修改 conf/fe.conf 中 JVM 的堆大小，根據(jù)實際的大小設(shè)置，并創(chuàng)建元數(shù)據(jù)目錄:
cd /opt/StarRocks-3.0.9/fe mkdir meta
進入到解壓目錄的 be 下，創(chuàng)建數(shù)據(jù)存儲目錄：
mkdir storage
FE部署：
由于我的有報錯，StarRocksFE進程會停掉，查找得知8030端口被JAVA進程占用。
# 端口查看： netstat -tulpn | grep :9050
StarRocks FE的8030端口被占用，進入fe文件下的conf/fe.conf文件修改改為8050：
meta_dir = /opt/StarRocks-3.0.9/fe/meta JAVA_HOME = /usr/java/jdk1.8.0_291-amd64 http_port = 8050
將改好的 StarRocks 包分發(fā)至另外兩個 服務(wù)器中：
scp -r StarRocks-3.0.9 root@xy2:/opt/ scp -r StarRocks-3.0.9 root@xy3:/opt/
進入目錄并啟動FE節(jié)點,使用jps查看進程：
cd /opt/StarRocks-3.0.9/fe bin/start_fe.sh --daemon
使用ip：8050可以查看web端：
使用mysql連接FE：
mysql -h xy1 -u root -P 9030
使用命令查看FE狀況：
SHOW PROC '/frontends'\G
分別在另外節(jié)點啟動fe：
bin/start_fe.sh --helper xy1:9010 --daemon
在節(jié)點xy1的mysql中添加FE節(jié)點（角色也分為FOLLOWER、OBSERVER）：
添加： ALTER SYSTEM ADD FOLLOWER "xy2:9010"; ALTER SYSTEM ADD FOLLOWER "xy3:9010"; 移除： alter system drop follower "xy2:9010"; alter system drop observer "xy2:9010"; 查看： SHOW PROC '/frontends'\G
BE部署：
進入BE，創(chuàng)建storage（這里上面已經(jīng)創(chuàng)建）：
cd /opt/StarRocks-3.0.9/be mkdir storage
進入conf/be.conf進行修改（每個節(jié)點都要）：
JAVA_HOME = /usr/java/jdk1.8.0_291-amd64 storage_root_path=/opt/StarRocks-3.0.9/be/storage be_http_port = 8070 priority_networks = 192.168.56.101/24
啟動BE：
#啟動： cd /opt/StarRocks-3.0.9/be ./bin/start_be.sh --daemon #停止： ./bin/stop_be.sh --daemon
通過mysql客戶端添加BE節(jié)點：
ALTER SYSTEM ADD BACKEND "xy1:9050"; ALTER SYSTEM ADD BACKEND "xy2:9050"; ALTER SYSTEM ADD BACKEND "xy3:9050"; #如不小心填錯了，可用這個刪除： alter system decommission backend "192.168.56.101:9050";
MySQL查看：
SHOW PROC '/backends'\G
網(wǎng)頁查看：
部署 Broker ：
#啟動broker的命令：（完成配置后可用，每個節(jié)點都需要啟動） cd /opt/StarRocks-3.0.9 ./apache_hdfs_broker/bin/start_broker.sh --daemon
配置文件在/opt/StarRocks-3.0.9/apache_hdfs_broker/conf/apache_hdfs_broker.conf（具體由安裝路徑而定）
復(fù)制自己的 HDFS 集群配置文件hdfs-site.xml并粘貼至 conf 路徑下。
當您嘗試啟動StarRocks的Broker服務(wù)時，系統(tǒng)報錯提示“JAVA_HOME is not set”，這意味著在運行start_broker.sh腳本時，環(huán)境變量JAVA_HOME尚未指向Java安裝目錄。
解決方法：
我的Java的安裝路徑為/usr/java/jdk1.8.0_291-amd64，可以在用戶的.bashrc文件中添加以下兩行來設(shè)置JAVA_HOME環(huán)境變量：
進入：
vim ~/.bashrc
添加環(huán)境：
export JAVA_HOME=/usr/java/jdk1.8.0_291-amd64 export PATH=$JAVA_HOME/bin:$PATH
保存文件后，為了讓新設(shè)置立即生效，執(zhí)行以下命令：
source ~/.bashrc
現(xiàn)在，JAVA_HOME環(huán)境變量應(yīng)該已經(jīng)設(shè)置好了，您可以再次嘗試啟動StarRocks的Broker服務(wù)：
./apache_hdfs_broker/bin/start_broker.sh --daemon
進入mysql添加Broker節(jié)點到集群中：
mysql -h xy1 -u root -P 9030
# broker1可以設(shè)置（后續(xù)使用Broker導(dǎo)入需要），8000是apache_hdfs_broker.conf中的端口。 ALTER SYSTEM ADD BROKER broker1 "192.168.56.101:8000"; ALTER SYSTEM ADD BROKER broker1 "192.168.56.102:8000"; ALTER SYSTEM ADD BROKER broker1 "192.168.56.103:8000";
查看Broker節(jié)點信息：
SHOW PROC "/brokers"\G
FE、BE、Broker啟動與查看命令：
啟動命令：
注意：每個節(jié)點都需要啟動
#FE啟動 cd /opt/StarRocks-3.0.9/fe bin/start_fe.sh --daemon #BE啟動： cd /opt/StarRocks-3.0.9/be ./bin/start_be.sh --daemon #啟動broker的命令： cd /opt/StarRocks-3.0.9 ./apache_hdfs_broker/bin/start_broker.sh --daemon #停止： ./bin/stop_be.sh --daemon # 進入 mysql -h xy1 -u root -P 9030
狀態(tài)查看命令：
#使用查看FE狀況： SHOW PROC '/frontends'\G #使用查看BE狀況： SHOW PROC '/backends'\G #使用查看Broker狀況： SHOW PROC "/brokers"\G
五、案例分享
數(shù)據(jù)從hive導(dǎo)入StarRocks： 在StarRocks中創(chuàng)建表：
CREATE DATABASE IF NOT EXISTS db_df_lawsuits_v;
USE db_df_lawsuits_v;
CREATE TABLE db_df_lawsuits_v.t_lawsuits_rolerelations (
eid STRING,
obj_id STRING,
ename STRING,
md5 STRING,
title STRING,
case_no STRING,
cause_action STRING,
type STRING,
role STRING,
court STRING,
trial_result STRING,
url STRING,
judgeresult STRING,
sub_amount DOUBLE,
related_companies STRING,
related_relation STRING,
freezing_info STRING,
u_tags STRING,
`date` DATETIME,
pub_date DATETIME,
year_date STRING,
year_pubdate STRING,
row_update_time DATETIME,
case_type STRING,
case_cause STRING,
case_causes STRING,
doc_type STRING,
case_status STRING,
doc_id STRING,
relation_details STRING,
case_relation BIGINT,
clean_role STRING,
verdict_type STRING,
related_case_no STRING,
initial_court_code STRING,
court_area_code STRING,
source STRING,
create_time DATETIME,
local_update_time DATETIME,
local_row_update_time DATETIME
)
DISTRIBUTED BY HASH(eid) BUCKETS 4;
hive-site.xml中設(shè)置hive.metastore.uris參數(shù)：
<name>hive.metastore.uris</name>
<value>thrift://xy1:9083</value>
登錄StarRocks：
mysql -h xy1 -u root -P 9030
Hive Catalog查詢與導(dǎo)入：
在StarRocks中執(zhí)行以下SQL語句來創(chuàng)建一個外部Catalog，指向您的Hive Metastore服務(wù)。
(Catalog（數(shù)據(jù)目錄）功能，實現(xiàn)在一套系統(tǒng)內(nèi)同時維護內(nèi)、外部數(shù)據(jù)，可以不執(zhí)行數(shù)據(jù)導(dǎo)入就輕松訪問并查詢存儲在各類外部源的數(shù)據(jù)。)
CREATE EXTERNAL CATALOG my_hive_catalog
PROPERTIES (
"type" = "hive",
"hive.metastore.uris" = "thrift://xy1:9083"
);
查看Catalog列表：首先，您可以通過執(zhí)行SHOW CATALOGS;命令來查看所有可用的Catalog。
使用Hive Catalog：然后，使用SET CATALOG 'my_hive_catalog';命令來切換到您創(chuàng)建的Hive Catalog。
查看數(shù)據(jù)庫列表：通過執(zhí)行SHOW DATABASES;命令，可以查看Hive Catalog中的數(shù)據(jù)庫列表。
查看表列表：選擇一個數(shù)據(jù)庫，然后執(zhí)行SHOW TABLES;來查看該數(shù)據(jù)庫中的表列表。
查詢表結(jié)構(gòu)：使用DESCRIBE <table_name>;命令來查看表的結(jié)構(gòu)和分區(qū)信息。
禁用嚴格模式：在插入數(shù)據(jù)之前，您可以通過設(shè)置會話變量來禁用嚴格模式，這樣StarRocks會將不符合條件的字段值轉(zhuǎn)換為NULL，而不是過濾掉整行數(shù)據(jù)。執(zhí)行以下命令：
SET enable_insert_strict = false;
如果開啟嚴格模式，StarRocks 會把錯誤的數(shù)據(jù)行過濾掉，只導(dǎo)入正確的數(shù)據(jù)行，并返回錯誤數(shù)據(jù)詳情。如果關(guān)閉嚴格模式，StarRocks 會把轉(zhuǎn)換失敗的錯誤字段轉(zhuǎn)換成 NULL 值，并把這些包含 NULL 值的錯誤數(shù)據(jù)行跟正確的數(shù)據(jù)行一起導(dǎo)入。
數(shù)據(jù)導(dǎo)入
INSERT INTO db_df_lawsuits_v.t_lawsuits_rolerelations SELECT * FROM my_hive_catalog.db_df_lawsuits_v.t_lawsuits_rolerelations;
這條命令影響了25600行數(shù)據(jù)，并且耗時1.27秒完成，執(zhí)行速度很快。
8.監(jiān)控導(dǎo)入狀態(tài)：導(dǎo)入作業(yè)提交后，先選擇數(shù)據(jù)庫，然后您可以通過SHOW LOAD命令來監(jiān)控導(dǎo)入作業(yè)的狀態(tài)。
數(shù)據(jù)使用Broker導(dǎo)入：
基本原理:
提交導(dǎo)入作業(yè)以后，F(xiàn)E 會生成對應(yīng)的查詢計劃，并根據(jù)目前可用 BE 的個數(shù)和源數(shù)據(jù)文件的大小，將查詢計劃分配給多個 BE 執(zhí)行。每個 BE 負責(zé)執(zhí)行一部分導(dǎo)入任務(wù)。BE 在執(zhí)行過程中，會從 HDFS 或云存儲系統(tǒng)拉取數(shù)據(jù)，并且會在對數(shù)據(jù)進行預(yù)處理之后將數(shù)據(jù)導(dǎo)入到 StarRocks 中。所有 BE 均完成導(dǎo)入后，由 FE 最終判斷導(dǎo)入作業(yè)是否成功。
支持格式：
CSV、ORCFile、Parquet等文件格式
在StarRocks中創(chuàng)建表：
USE db_df_lawsuits_v;
CREATE TABLE db_df_lawsuits_v.test_brok (
eid STRING,
obj_id STRING,
ename STRING,
md5 STRING,
title STRING,
case_no STRING,
cause_action STRING,
`type` STRING,
`role` STRING,
court STRING,
trial_result STRING,
url STRING,
judgeresult STRING,
sub_amount DOUBLE,
related_companies STRING,
related_relation STRING,
freezing_info STRING,
u_tags STRING,
`date` DATETIME,
pub_date DATETIME,
year_date STRING,
year_pubdate STRING,
row_update_time DATETIME,
case_type STRING,
case_cause STRING,
case_causes STRING,
doc_type STRING,
case_status STRING,
doc_id STRING,
relation_details STRING,
case_relation BIGINT,
clean_role STRING,
verdict_type STRING,
related_case_no STRING,
initial_court_code STRING,
court_area_code STRING,
source STRING,
create_time DATETIME,
local_update_time DATETIME,
local_row_update_time DATETIME
)
DISTRIBUTED BY HASH(eid) BUCKETS 4;
使用broker導(dǎo)入語句：
-- 加載標簽 `db_df_lawsuits_v.test_brok2`，該標簽表示從HDFS加載數(shù)據(jù)到StarRocks數(shù)據(jù)庫中的一個導(dǎo)入任務(wù)
LOAD LABEL db_df_lawsuits_v.test_brok2
(
-- 指定數(shù)據(jù)源，即HDFS上的ORC格式數(shù)據(jù)文件集合
DATA INFILE("hdfs://192.168.56.101:9870/user/hive/warehouse/db_df_lawsuits_v.db/t_lawsuits_rolerelations/*")
-- 導(dǎo)入數(shù)據(jù)的目標表是名為 `test_brok1` 的表
INTO TABLE test_brok1
-- 指定數(shù)據(jù)文件的格式為 ORC 格式
FORMAT AS "orc"
)
-- 使用名為 `broker1` 的HDFS Broker組件進行數(shù)據(jù)搬運
WITH BROKER
(
'name' = 'broker1',
'type' = 'hdfs',
-- 配置HDFS Broker連接HDFS所需的認證信息
'properties' = '{"username": "root", "password": "cqie"}'
)
-- 設(shè)置導(dǎo)入任務(wù)的超時時間為36000秒（即10小時）
PROPERTIES
(
'timeout' = '36000'
);
-- 查看所有LOAD LABEL任務(wù) SHOW TABLES; -- 查看特定標簽的任務(wù) SHOW TABLES FROM db_df_lawsuits_v; -- 查看導(dǎo)入作業(yè)的列表和狀態(tài) SHOW LOAD;
刪除：
如果您想刪除表中的數(shù)據(jù)，可以使用DELETE語句。這個語句允許您按條件刪除表中的數(shù)據(jù)。例如：
DELETE FROM table_name WHERE condition;
如果您想刪除整個表（標簽），則需要使用DROP TABLE語句。這將刪除表及其所有數(shù)據(jù)，操作不可逆轉(zhuǎn)。例如：
DROP TABLE table_name;
請注意，在執(zhí)行DROP TABLE操作之前，確保您已經(jīng)備份了任何重要數(shù)據(jù)，因為這個操作會永久刪除表和表中的所有數(shù)據(jù)。
如果您是想清空表中的數(shù)據(jù)但保留表結(jié)構(gòu)，可以使用TRUNCATE TABLE語句。這個命令會刪除表中的所有數(shù)據(jù)，但表結(jié)構(gòu)仍然保留。例如：
TRUNCATE TABLE table_name;
第三方平臺方式將數(shù)據(jù)導(dǎo)入到starrocks
python導(dǎo)入數(shù)據(jù)
創(chuàng)表SQL
CREATE TABLE `table1` ( `id` int(11) NOT NULL COMMENT "用戶 ID", `name` varchar(65533) NULL COMMENT "用戶姓名", `score` int(11) NOT NULL COMMENT "用戶得分" ) ENGINE=OLAP PRIMARY KEY(`id`) DISTRIBUTED BY HASH(`id`) BUCKETS 10; CREATE TABLE `table2` ( `id` int(11) NOT NULL COMMENT "城市 ID", `city` varchar(65533) NULL COMMENT "城市名稱" ) ENGINE=OLAP PRIMARY KEY(`id`) DISTRIBUTED BY HASH(`id`) BUCKETS 10;
Python代碼
import requests,json
#驗證密碼
Session=requests.Session()
Session.auth=('root','')
#csv導(dǎo)入
table='table1'
headers_csv={
'label':'123',
#分隔符
'column_separator':',',
#字段
'columns': 'id, name, score'
}
'''
1,Lily,23
2,Rose,23
3,Alice,24
4,Julia,25
'''
data=open('score.csv','r').read()
r=Session.put(f'http://10.8.16.200:8040/api/testdb/{table}/_stream_load',headers=
headers_csv,data=data)
r.json()
#json導(dǎo)入
table='table2'
#請求頭
headers_json={
'Content-type': 'application/json',
"Expect": "100-continue",
'strict_mode': 'true',
'format': 'json',
#jsonpaths https://www.cnblogs.com/youring2/p/10942728.html
'jsonpaths': '[\"$.name\", \"$.code\"]',
'columns': 'city,tmp_id, id = tmp_id * 100'
}
for i in [{"name": "上海", "code": 1},{"name": "重慶", "code": 3}]:
data=json.dumps(i)
r=Session.put(f'http://10.8.16.200:8040/api/testdb/{table}/_stream_load',headers
=headers_json,data=data)
print(r.json())
以上就是StarRocks簡介與搭建使用詳解的詳細內(nèi)容，更多關(guān)于StarRocks搭建使用的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
redis密碼設(shè)置、訪問權(quán)限控制等安全設(shè)置
這篇文章主要介紹了redis密碼設(shè)置、訪問權(quán)限控制等安全設(shè)置,需要的朋友可以參考下2014-05-05
數(shù)據(jù)庫分庫分表是什么，什么情況下需要用分庫分表
這篇文章主要介紹了數(shù)據(jù)庫分庫分表是什么，什么情況下需要用分庫分表,需要的朋友可以參考下2021-03-03
DBeaver是數(shù)據(jù)庫管理工具，如何下載安裝，下面將詳細介紹DBeaver下載安裝詳細教程，感興趣的朋友跟隨小編一起學(xué)習(xí)下吧2021-11-11
Hive內(nèi)部表:默認創(chuàng)建的表是內(nèi)部表，Hive外部表：外部表的數(shù)據(jù)不是Hive擁有或者管理的，只管理元數(shù)據(jù)的聲明周期，本文詳細介紹了hive內(nèi)部表和外部表的區(qū)別，感興趣的小伙伴可以參考閱讀2023-04-04
ACCESS轉(zhuǎn)SQLSERVER數(shù)據(jù)庫的注意事項
Access承重量太低，當你考慮升級到SQL Server時，并不只是個連接字符串需要改變，需要改變的還有很多2007-01-01
站內(nèi)群發(fā)消息三種不同用戶量的數(shù)據(jù)庫設(shè)計
很多SNS網(wǎng)站和一部分CMS網(wǎng)站都廣泛地應(yīng)用了站內(nèi)信這一模塊,這個看似簡單的東西其實背后隱藏著很多需要設(shè)計師重視的設(shè)計細節(jié),要做好這個“郵遞員”是很不容易的,本文講述站內(nèi)群發(fā)消息三種不同用戶量的數(shù)據(jù)庫設(shè)計,逐漸設(shè)計一個百萬級用戶量的站內(nèi)信群發(fā)數(shù)據(jù)庫2023-12-12
SQLServer與Oracle常用函數(shù)實例對比匯總
這篇文章主要介紹了SQLServer與Oracle常用函數(shù)對比,需要的朋友可以參考下2014-06-06
真正約束字段的是數(shù)據(jù)類型,但是數(shù)據(jù)類型約束很單一,需要有一些額外的約束,更好的保證數(shù)據(jù)的合法性,從業(yè)務(wù)邏輯角度保證數(shù)據(jù)的正確性,本文就來介紹一下數(shù)據(jù)庫之表的唯一、自增等七大約束,感興趣的可以了解一下2023-09-09
海量數(shù)據(jù)庫的查詢優(yōu)化及分頁算法方案 2 之 改良SQL語句
海量數(shù)據(jù)庫的查詢優(yōu)化及分頁算法方案 2 之 改良SQL語句...2007-03-03
SYBASE復(fù)制服務(wù)器(Sybase Replication Server)用來滿足日益發(fā)展的企業(yè)客戶/服務(wù)器計算機環(huán)境的需要。自從復(fù)制服務(wù)器被廣泛應(yīng)用以來，已成為企業(yè)范圍內(nèi)客戶/服務(wù)器應(yīng)用模式的基礎(chǔ)。2009-06-06