MySQL數(shù)據(jù)實時同步到MongoDB的實踐分享
MySQL 到 MongoDB 實時數(shù)據(jù)同步實操分享
第一步：配置MySQL 連接
1.點擊 Tapdata Cloud 操作后臺左側菜單欄的【連接管理】，然后點擊右側區(qū)域【連接列表】右上角的【創(chuàng)建連接】按鈕，打開連接類型選擇頁面，然后選擇MySQL
2.在打開的連接信息配置頁面依次輸入需要的配置信息
【連 接 名 稱】：設置連接的名稱，多個連接的名稱不能重復
【數(shù)據(jù)庫地址】：數(shù)據(jù)庫 IP / Host
【端 口】：數(shù)據(jù)庫端口
【數(shù)據(jù)庫名稱】：tapdata 數(shù)據(jù)庫連接是以一個 db 為一個數(shù)據(jù)源。這里的 db 是指一個數(shù)據(jù)庫實例中的 database，而不是一個 mysql 實例。
【賬 號】：可以訪問數(shù)據(jù)庫的賬號
【密 碼】：數(shù)據(jù)庫賬號對應的密碼
【時 間 時 區(qū)】：默認使用該數(shù)據(jù)庫的時區(qū)；若指定時區(qū)，則使用指定后的時區(qū)設置
測試連接，提示測試通過
測試通過后保存連接即可。
第二步：配置 MongoDB 連接
3.同第一步操作，點擊左側菜單欄的【連接管理】，然后點擊右側區(qū)域【連接列表】右上角的【創(chuàng)建連接】按鈕，打開連接類型選擇頁面，然后選擇 MongoDB
4.在打開的連接信息配置頁面依次輸入需要的配置信息，配置完成后測試連接保存即可。
第三步：選擇同步模式-全量/增量/全+增
進入Tapdata Cloud 操作后臺任務管理頁面，點擊添加任務按鈕進入任務設置流程
根據(jù)剛才建好的連接，選定源端與目標端。
根據(jù)數(shù)據(jù)需求，選擇需要同步的庫、表，如果你對表名有修改需要，可以通過頁面中的表名批量修改功能對目標端的表名進行批量設置.
在以上選項設置完畢后，下一步選擇同步類型，平臺提供全量同步、增量同步、全量+增量同步，設定寫入模式和讀取數(shù)量。
如果選擇的是全量+增量同步，在全量任務執(zhí)行完畢后，Tapdata Agent 會自動進入增量同步狀態(tài)。在該狀態(tài)中，Tapdata Agent 會持續(xù)監(jiān)聽源端的數(shù)據(jù)變化（包括：寫入、更新、刪除），并實時的將這些數(shù)據(jù)變化寫入目標端。
點擊任務名稱可以打開任務詳情頁面，可以查看任務詳細信息。
點擊任務監(jiān)控可以打開任務執(zhí)行詳情頁面，可以查看任務進度/里程碑等的具體信息。
第四步：進行數(shù)據(jù)校驗
一般同步完成后，我都習慣性進行一下數(shù)據(jù)校驗，防止踩坑。
Tapdata Cloud 有三種校驗模式，我常用最快的快速count校驗 ，只需要選擇到要校驗的表，不用設置其他復雜的參數(shù)和條件，簡單方便。
如果覺得不夠用，也可以選擇表全字段值校驗 ，這個除了要選擇待校驗表外，還需要針對每一個表設置索引字段。
在進行表全字段值校驗時，還支持進行高級校驗。通過高級校驗可以添加JS校驗邏輯，可以對源和目標的數(shù)據(jù)進行校驗。
還有一個校驗方式關聯(lián)字段值校驗 ，創(chuàng)建關聯(lián)字段值校驗時，除了要選擇待校驗表外，還需要針對每一個表設置索引字段。
完美支持SQL->NOSQL，簡直不要太方便了。以上就是 MySQL數(shù)據(jù)實時同步到 MongoDB 的操作分享，希望上面的操作分享對你有幫助！
到此這篇關于MySQL數(shù)據(jù)實時同步到MongoDB的實踐分享的文章就介紹到這了,更多相關MySQL MongoDB數(shù)據(jù)同步內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要介紹了mysql8如何設置不區(qū)分大小寫ubuntu20問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-05-05
今天小編就為大家分享一篇關于如何提高MySQL Limit查詢性能的方法詳解，小編覺得內容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2019-03-03
Mysql 在使用過程中經(jīng)常遇到錯誤，都是本人在實際應用中處理檢驗過的，本文對常見錯誤出現(xiàn)的代碼進行詳細分析，并有中文解釋，以及解決方法！2016-07-07
MySQL表的CURD操作(數(shù)據(jù)的增刪改查)
數(shù)據(jù)庫本質上是一個文件系統(tǒng),通過標準的SQL語句對數(shù)據(jù)進行CURD操作,下面這篇文章主要給大家介紹了關于MySQL表的CURD操作的相關資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下2023-02-02
這篇文章主要介紹了mysql創(chuàng)建用戶授權,本文分步驟給大家介紹的非常詳細，對mysql創(chuàng)建用戶授權詳細步驟感興趣的朋友一起看看吧2023-07-07
MySQL腳本批量自動插入數(shù)據(jù)及數(shù)據(jù)可按條件插入實現(xiàn)
在初始化數(shù)據(jù)庫或者導入一些數(shù)據(jù)時,常常會用到批量的操作，本文主要介紹了MySQL腳本批量自動插入數(shù)據(jù)及數(shù)據(jù)可按條件插入實現(xiàn)，具有一定的參考價值，感興趣的可以了解一下2024-01-01
Mysql性能調優(yōu)之max_allowed_packet使用及說明
這篇文章主要介紹了Mysql性能調優(yōu)之max_allowed_packet使用及說明，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-11-11
Navicat中新建MySQL數(shù)據(jù)庫與新建、修改、刪除數(shù)據(jù)表及刪除數(shù)據(jù)庫詳細操作方法
Navicat是一套快速、可靠并價格相當便宜的數(shù)據(jù)庫管理工具,專為簡化數(shù)據(jù)庫的管理及降低系統(tǒng)管理成本而設,這篇文章主要給大家介紹了關于Navicat中新建MySQL數(shù)據(jù)庫與新建、修改、刪除數(shù)據(jù)表及刪除數(shù)據(jù)庫詳細操作的相關資料,需要的朋友可以參考下2023-11-11
在事務中，每個正確的原子操作都會被順序執(zhí)行，直到遇到錯誤的原子操作，此時事務會將之前的操作進行回滾。回滾的意思是如果之前是插入操作，那么會執(zhí)行刪 除插入的記錄，如果之前是update操作，也會執(zhí)行update操作將之前的記錄還原2014-05-05
索引條件下推,也叫索引下推,英文全稱Index?Condition?Pushdown,簡稱ICP,索引下推是MySQL5.6新添加的特性,用于優(yōu)化數(shù)據(jù)的查詢,下面這篇文章主要給大家介紹了關于MySQL索引下推的相關資料,需要的朋友可以參考下2022-10-10