快捷導(dǎo)航

MySQL數(shù)據(jù)同步到Doris的四種方式

更新時(shí)間：2024年02月01日 11:47:54 作者：m0_37559973

這篇文章給大家介紹了MySQL數(shù)據(jù)同步到Doris的四種方式,CSV文件方式,JDBC 編碼方式,JDBC Catalog 方式和Binlog Load 方式,并通過代碼示例給大家介紹的非常詳細(xì),需要的朋友可以參考下

1.CSV文件方式

當(dāng)mysql與doris服務(wù)之間無法通過網(wǎng)絡(luò)互聯(lián)時(shí)，可以通過將mysql數(shù)據(jù)導(dǎo)出成csv文件，然后再在doris服務(wù)器導(dǎo)入csv文件的方式進(jìn)行同步數(shù)據(jù)。

1.1 導(dǎo)出mysql數(shù)據(jù)

使用select * into outfile 命令導(dǎo)出csv數(shù)據(jù)

select * into outfile 'F:\\24\\mysql\\dim_area.csv' fields terminated by '\t' lines terminated by '\n' from dim_area;

導(dǎo)出的文件格式如下：

需要在mysql的配置文件中設(shè)置secure_file_priv=導(dǎo)出的文件路徑，如上面案例中F:/24/mysql,才能導(dǎo)出文件。

1.2 導(dǎo)入數(shù)據(jù)

將mysql導(dǎo)出的csv文件上傳到doris服務(wù)器之后，可以通過Stream Load和MySQL Load兩種方式導(dǎo)入數(shù)據(jù)進(jìn)doris數(shù)據(jù)庫中。

1）Stream Load導(dǎo)入

Stream load 是一個(gè)同步的導(dǎo)入方式，用戶通過發(fā)送 HTTP 協(xié)議發(fā)送請(qǐng)求將本地文件或數(shù)據(jù)流導(dǎo)入到 Doris 中?？梢酝ㄟ^ HTTP 協(xié)議提交導(dǎo)入命令。

curl --location-trusted -u root -T /home/weisx/opt/doris/local_import_data/dim_area.csv -H "columns:id,level,parent_code,area_code,name,short_name,merger_name,pinyin,lng,lat,pcode,ccode,acode,tcode,vcode" -H "label:label_dim_area" -H "column_separator:\t" -H "format:csv" http://localhost:8030/api/demo/dim_area/_stream_load

2）MySQL Load導(dǎo)入

MySql load 主和Stream Load功能相似, 都是導(dǎo)入本地文件到Doris集群中, 因此MySQL Load實(shí)現(xiàn)復(fù)用了StreamLoad的基礎(chǔ)導(dǎo)入能力。執(zhí)行MySQL Load語句的時(shí)候, 客戶端命令必須帶有--local-infile參數(shù), 同時(shí)還需要設(shè)置FE的配置mysql_load_server_secure_path開啟服務(wù)端導(dǎo)入功能。

mysql -u root -p -P9030 -h127.0.0.1 --local-infile=1

LOAD DATA INFILE '/home/hadoop/opt/data_doris/dim_area.csv' INTO TABLE article.dim_area COLUMNS TERMINATED BY '\t';

2.JDBC 編碼方式

通過編程方式，利用jdbc讀取mysql中的數(shù)據(jù)，然后可以通過jdbc或者Stream Load方式插入數(shù)據(jù)到doris中。Stream Load java代碼實(shí)現(xiàn)可參考：Doris：StreamLoad導(dǎo)入數(shù)據(jù)-CSDN博客

3.JDBC Catalog 方式

JDBC Catalog 通過標(biāo)準(zhǔn) JDBC 協(xié)議，連接其他數(shù)據(jù)源。連接后，Doris 會(huì)自動(dòng)同步數(shù)據(jù)源下的 Database 和 Table 的元數(shù)據(jù)，以便快速訪問這些外部數(shù)據(jù)。

3.1 上傳mysql驅(qū)動(dòng)包

需將 Jar 包預(yù)先存放在 FE 和 BE 部署目錄的 jdbc_drivers/ 目錄下。系統(tǒng)會(huì)自動(dòng)在這個(gè)目錄下尋找。該目錄的位置，也可以由 fe.conf 和 be.conf 中的 jdbc_drivers_dir 配置修改。

修改fe和be配置文件，指定jdbc_drivers_dir目錄。

3.2 創(chuàng)建mysql catalog

####mysql 8

CREATE CATALOG jdbc_mysql_233_8 PROPERTIES (
    "type"="jdbc",
    "user"="root",
    "password"="123456",
    "jdbc_url" = "jdbc:mysql://192.168.110.233:3307/demo",
    "driver_url" = "mysql-connector-java-8.0.30.jar",
    "driver_class" = "com.mysql.cj.jdbc.Driver"
)

####mysql 5

CREATE CATALOG jdbc_mysql_233_5  PROPERTIES (
    "type"="jdbc",
    "user"="root",
    "password"="123456",
    "jdbc_url" = "jdbc:mysql://192.168.110.233:3306/demo",
    "driver_url" = "mysql-connector-java-5.1.47.jar",
    "driver_class" = "com.mysql.jdbc.Driver"
)