一、開啟數(shù)據(jù)庫服務(wù)

1.1、檢查Binlog日志是否開啟

show variables like 'log_bin'

注意：如果Value=OFF，則需要開啟Binlog日志，如果為ON時(shí)，則已開啟。

1.2、開啟Binlog日志

修改mysql的配置文件my.ini

注意：如果此路徑下沒有my.ini文件，則去C:\ProgramData\MySQL\MySQL Server 8.0路徑下查找

server-id=1
# log-bin
log-bin = mysql-bin
# log-bin = C:\ProgramData\MySQL\MySQL Server 5.7\Data\log\bin_log
binlog_format = ROW
# binlog-do-db = canal-demo

• server-id：配置MySQL replaction需要定義，不要和canal的slaveId重復(fù)
• log-bin： binlog日志文件名稱
• binlog_format：binlog日志數(shù)據(jù)保存格式
• binlog-do-db：指令同步的數(shù)據(jù)庫，如果不指定則同步所有的數(shù)據(jù)庫

重啟MySQL服務(wù)：

• 關(guān)閉：net stop mysql57
• 啟動(dòng)：net start mysql57

1.3、常用Binlog日志查詢

-- 查詢Binlog是否開啟
SHOW VARIABLES LIKE 'log_bin';
-- 查看Binlog日志文件列表
SHOW BINARY LOGS;
-- 查看當(dāng)前正在寫入的binlog文件
SHOW MASTER STATUS;

二、配置Canal

2.1 修改Canal配置文件：canal.properties

文件路徑：canal.deployer-1.1.7\conf\canal.properties

canal.port = 11111

# tcp, kafka, rocketMQ, rabbitMQ, pulsarMQ
canal.serverMode = tcp

canal.destinations = example

• canal.port：cannal的端口號(hào)，默認(rèn)是11111
• canal.serverMode：服務(wù)模式，tcp表示輸入客戶端，xxMQ輸出到各種類型的消息中間件
• canal.destinations：canal可以收集多個(gè)MySQL數(shù)據(jù)庫數(shù)據(jù)，每個(gè)MySQL數(shù)據(jù)庫都有獨(dú)立的配置文件控制。

具體配置規(guī)則：

conf/目錄下，使用文件夾放置，文件夾名代表一個(gè)MySQL實(shí)例。

canal.destinations用于配置需要監(jiān)控?cái)?shù)據(jù)的數(shù)據(jù)庫。如果是多個(gè)用逗號(hào)隔開(“,”)，例如：canal.destinations = example, example1, example2

2.2 修改MySQL實(shí)例配置文件：instance.properties

文件路徑：canal.deployer-1.1.7\conf\example\instance.properties

注意：因?yàn)镸ySQL實(shí)例配置文件可以有很多個(gè)，所以具體情況要看canal配置文件中的配置

# canal.instance.mysql.slaveId=0

canal.instance.master.address=127.0.0.1:3306

canal.instance.dbUsername=root
canal.instance.dbPassword=root

• canal.instance.mysql.slaveId：使用canal從階段ID，v1.0.26版本后會(huì)自動(dòng)生成slaveId，所以可以不用配置
• canal.instance.master.address：數(shù)據(jù)庫的IP和端口
• canal.instance.dbUsername：MySQL賬號(hào)
• canal.instance.dbPassword：MySQL密碼

2.3 啟動(dòng)canal

文件路徑：canal.deployer-1.1.7\bin

三、SpringBoot集成Canal

3.1 加載POM

<dependency>
    <groupId>top.javatool</groupId>
    <artifactId>canal-spring-boot-starter</artifactId>
    <version>1.2.1-RELEASE</version>
</dependency>

3.2 修改配置文件

在application.yml文件中增加以下配置

canal:
  server: 127.0.0.1:11111 #canal 默認(rèn)端口11111
  destination: example
logging:  # 設(shè)置日志級(jí)別，否則會(huì)一致打印監(jiān)聽
  level:
    root: info
    top:
      javatool:
        canal:
          client:
            client:
              AbstractCanalClient: error

3.3 創(chuàng)建實(shí)例對(duì)象

package com.ming.domain;

import lombok.AllArgsConstructor;
import lombok.Builder;
import lombok.Data;
import lombok.NoArgsConstructor;

import java.io.Serializable;

@Data
@Builder
@NoArgsConstructor
@AllArgsConstructor
public class User implements Serializable {
    private Long id;
    private String name;
    private String phone;
}

3.4 編寫攔截器

package com.ming.handler;

import com.ming.domain.User;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;
import top.javatool.canal.client.handler.EntryHandler;
import top.javatool.canal.client.annotation.CanalTable;

@Slf4j
@CanalTable("user")  // 數(shù)據(jù)庫中的表名
@Component
public class UserCanalHandler implements EntryHandler<User> {
    @Override
    public void insert(User user) {
        log.info("insert message  {}", user);
    }

    @Override
    public void update(User before, User after) {
        log.info("update before {} ", before);
        log.info("update after {}", after);
    }

    @Override
    public void delete(User user) {
        log.info("delete  {}", user);
    }
}

四、Canal詳解

4.1、Binlog的分類

綜上所述：如果想要對(duì)MySQL做數(shù)據(jù)分析的話，建議使用ROW模式

4.2、Canal的執(zhí)行原理

1. Canal將自己偽裝成MySQL slave（MySQL的從庫），向MySQL master（MySQL的主庫）發(fā)送dump協(xié)議。
2. MySQL master（MySQL的主庫）收到dump協(xié)議，開始推送binary log給slave（即：canal）。
3. Canal接收并解析Binlog日志，得到變更的數(shù)據(jù)，執(zhí)行后續(xù)邏輯。

4.3、Canal的運(yùn)用場(chǎng)景

1. 數(shù)據(jù)庫同步：同步數(shù)據(jù)到Redis等存儲(chǔ)介質(zhì)。
2. 數(shù)據(jù)庫實(shí)時(shí)監(jiān)控：監(jiān)控MySQL的更新操作，對(duì)于敏感信息可以及時(shí)通知相關(guān)人員。
3. 數(shù)據(jù)分析和挖掘：將增量數(shù)據(jù)投遞給Kafka等消息隊(duì)列中，為數(shù)據(jù)分析和挖掘提供數(shù)據(jù)源。
4. 數(shù)據(jù)庫備份：將MySQL主庫上數(shù)據(jù)增量日志復(fù)制到備庫上，實(shí)現(xiàn)數(shù)據(jù)庫備份。
5. 數(shù)據(jù)集成：集成多個(gè)MySQL數(shù)據(jù)，為數(shù)據(jù)處理提供更加有效的解決方案。
6. 數(shù)據(jù)庫遷移：協(xié)助MySQL數(shù)據(jù)庫的版本升級(jí)及數(shù)據(jù)遷移任務(wù)。

4.4、面試題

4.4.1 Canal是什么？有哪些特性

Canal是阿里巴巴開源的一款基于Netty實(shí)現(xiàn)的分布式、高性能、可靠的消息隊(duì)列。在實(shí)現(xiàn)數(shù)據(jù)同步和數(shù)據(jù)分發(fā)場(chǎng)景下有著廣泛的應(yīng)用。

特性：

• 支持MySQL、Oracle等數(shù)據(jù)庫的日志解析和訂閱
• 支持多種數(shù)據(jù)輸出方式，如：Kafka、RocketMQ、ActiveMQ等
• 支持?jǐn)?shù)據(jù)過濾和格式轉(zhuǎn)換
• 具有低延遲、高可靠性

4.4.2 Canal的工作原理

• Canal主要是通過解析數(shù)據(jù)庫的Binlog日志來獲取數(shù)據(jù)庫的增、刪、改等操作，然后將變更事件發(fā)送給下游的消費(fèi)者。
• Canal的核心組件包括Client和Server兩部分。
• Client負(fù)責(zé)連接數(shù)據(jù)庫，并啟動(dòng)日志解析工作，將解析出來的數(shù)據(jù)發(fā)送給Server。
• Server負(fù)責(zé)接收Client發(fā)送的數(shù)據(jù)，并進(jìn)行數(shù)據(jù)的過濾和分發(fā)。
• Canal還支持多種數(shù)據(jù)輸出器，如：Kafka、RocketMQ、ActiveMQ等，可以將解析出來的數(shù)據(jù)發(fā)送給不同的消息隊(duì)列當(dāng)中。

4.4.3 Canal的優(yōu)缺點(diǎn)

• 優(yōu)點(diǎn)：高性能、分布式、支持?jǐn)?shù)據(jù)過濾和轉(zhuǎn)換，跨數(shù)據(jù)庫類型，比如MySQL、Oracle。
• 缺點(diǎn)：使用難度較大、對(duì)數(shù)據(jù)庫日志產(chǎn)生一定影響，不支持?jǐn)?shù)據(jù)回溯（即：無法獲取歷史數(shù)據(jù)）

4.4.4 Canal應(yīng)用場(chǎng)景

• Canal主要用于數(shù)據(jù)同步和數(shù)據(jù)分發(fā)場(chǎng)景。
• 例如：數(shù)據(jù)備份、數(shù)據(jù)同步、數(shù)據(jù)實(shí)時(shí)分析、在線數(shù)據(jù)遷移

總結(jié)

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評(píng)論