MySQL 到 Kafka 實時數(shù)據(jù)同步實操分享

第一步：配置MySQL 連接

1.點擊 Tapdata Cloud 操作后臺左側(cè)菜單欄的【連接管理】，然后點擊右側(cè)區(qū)域【連接列表】右上角的【創(chuàng)建連接】按鈕，打開連接類型選擇頁面，然后選擇MySQL

2.在打開的連接信息配置頁面依次輸入需要的配置信息

【連 接 名 稱】：設(shè)置連接的名稱，多個連接的名稱不能重復(fù)

【數(shù)據(jù)庫地址】：數(shù)據(jù)庫 IP / Host

【端 口】：數(shù)據(jù)庫端口

【數(shù)據(jù)庫名稱】：tapdata 數(shù)據(jù)庫連接是以一個 db 為一個數(shù)據(jù)源。這里的 db 是指一個數(shù)據(jù)庫實例中的 database，而不是一個 mysql 實例。

【賬 號】：可以訪問數(shù)據(jù)庫的賬號

【密 碼】：數(shù)據(jù)庫賬號對應(yīng)的密碼

【時 間 時 區(qū)】：默認(rèn)使用該數(shù)據(jù)庫的時區(qū)；若指定時區(qū)，則使用指定后的時區(qū)設(shè)置

3.測試連接，提示測試通過

4.測試通過后保存連接即可。

第二步：配置 Kafka 連接

1.同第一步操作，點擊左側(cè)菜單欄的【連接管理】，然后點擊右側(cè)區(qū)域【連接列表】右上角的【創(chuàng)建連接】按鈕，打開連接類型選擇頁面，然后選擇 Kafka

2.在打開的連接信息配置頁面依次輸入需要的配置信息，配置完成后測試連接保存即可。

第三步：選擇同步模式-全量/增量/全+增

進(jìn)入Tapdata Cloud 操作后臺任務(wù)管理頁面，點擊添加任務(wù)按鈕進(jìn)入任務(wù)設(shè)置流程

根據(jù)剛才建好的連接，選定源端與目標(biāo)端。

根據(jù)數(shù)據(jù)需求，選擇需要同步的庫、表，如果你對表名有修改需要，可以通過頁面中的表名批量修改功能對目標(biāo)端的表名進(jìn)行批量設(shè)置

在以上選項設(shè)置完畢后，下一步選擇同步類型，平臺提供全量同步、增量同步、全量+增量同步，設(shè)定寫入模式和讀取數(shù)量。

如果選擇的是全量+增量同步，在全量任務(wù)執(zhí)行完畢后，Tapdata Agent 會自動進(jìn)入增量同步狀態(tài)。在該狀態(tài)中，Tapdata Agent 會持續(xù)監(jiān)聽源端的數(shù)據(jù)變化（包括：寫入、更新、刪除），并實時的將這些數(shù)據(jù)變化寫入目標(biāo)端。

點擊任務(wù)名稱可以打開任務(wù)詳情頁面，可以查看任務(wù)詳細(xì)信息。

點擊任務(wù)監(jiān)控可以打開任務(wù)執(zhí)行詳情頁面，可以查看任務(wù)進(jìn)度/里程碑等的具體信息。

第四步：進(jìn)行數(shù)據(jù)校驗

一般同步完成后，我都習(xí)慣性進(jìn)行一下數(shù)據(jù)校驗，防止踩坑。

Tapdata Cloud 有三種校驗?zāi)Ｊ剑页Ｓ米羁斓目焖賑ount校驗 ，只需要選擇到要校驗的表，不用設(shè)置其他復(fù)雜的參數(shù)和條件，簡單方便。

如果覺得不夠用，也可以選擇表全字段值校驗 ，這個除了要選擇待校驗表外，還需要針對每一個表設(shè)置索引字段。

在進(jìn)行表全字段值校驗時，還支持進(jìn)行高級校驗。通過高級校驗可以添加JS校驗邏輯，可以對源和目標(biāo)的數(shù)據(jù)進(jìn)行校驗。

還有一個校驗方式關(guān)聯(lián)字段值校驗 ，創(chuàng)建關(guān)聯(lián)字段值校驗時，除了要選擇待校驗表外，還需要針對每一個表設(shè)置索引字段。

以上就是MySQL到Kafka實時數(shù)據(jù)同步的詳細(xì)內(nèi)容，更多關(guān)于MySQL Kafka數(shù)據(jù)同步的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論