canal

Canal是阿里巴巴开源的一款主要用于数据库同步业务的项目，基于数据库的日志解析，获取增量变更进行同步，由此衍生出了Canal增量订阅&消费的实时数据库同步。目前阿里内部版本已经支持mysql和oracle部分版本的日志解析，当前的canal开源版本支持mysql 5.7及以下的版本。

基本原理：

canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议

mysql master收到dump请求，开始推送binary log给slave(也就是canal)

canal解析binary log对象(原始为byte流)

工作原理

工作原理

原理相对比较简单：

canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议

mysql master收到dump请求，开始推送binary log给slave(也就是canal)

canal解析binary log对象(原始为byte流)

Canal安装配置

wget https://github.com/alibaba/canal/releases/download/canal-1.1.3/canal.deployer-1.1.3.tar.gz

解压

tar xzf canal.deployer-1.1.3.tar.gz

配置

cd /service/canal/conf

vim canal.properties //全局canal服务配置

canal.id= 41 //每个canal server实例的唯一标识

canal.zkServers=192.168.200.44 //zookeeper地址,不设置默认单节点模式，设置的话通过zookeeper维护热备切换

#canal.instance.global.spring.xml = classpath:spring/file-instance.xml //通过文件维护偏移量

canal.instance.global.spring.xml = classpath:spring/default-instance.xml //利用zookeepr维护偏移量信息

vim example/instance.properties //每个instance一个单独配置

canal.instance.master.address=192.168.200.30:3306 //数据库IP端口

canal.instance.master.journal.name=mysql-bin.000030 //从哪个binlog文件开始dump

canal.instance.master.position=107 //binlog文件偏移量

canal.instance.master.timestamp= 1557454483242 //ms

canal.instance.dbUsername=root //数据库用户名

canal.instance.dbPassword=123456 //数据库密码

canal.instance.connectionCharset mysql= UTF-8 //数据解析编码

canal.instance.filter.regex= canal.test1

//

mysql 数据解析关注的表，Perl正则表达式.多个正则之间以逗号(,)分隔，转义符需要双斜杠(\\)

常见例子：

1. 所有表：.* or .*\\..*

2. canal schema下所有表： canal\\..*

3. canal下的以canal打头的表：canal\\.canal.*

4. canal schema下的一张表：canal.test1

5. 多个规则组合使用：canal\\..*,mysql.test1,mysql.test2 (逗号分隔)

copy整个canal目录到另一个节点服务器(单节点不用)

修改canal.properties中的canal.id=42(单节点不用)

启动canal

/service/canal/bin/startup.sh

Mysql配置修改

vim /etc/my.cnf

binlog_format=row

同步数据到dataworks数仓

未完待续...