数据同步（教你如何实时把数据从 MySQL 同步到 OceanBase）数据库oceanbase

背景介绍
我们都知道，很多用户并不是一开始就是使用 OceanBase 的。所以在他们决定使用 OceanBase 的时候，一定要把之前的业务数据迁移到 OceanBase 上来。如果是全量数据迁移，可以借助离线数据同步工具 DataX 。但是，如果在全量迁移过程中业务产生了新数据，这些新数据又如何迁移呢？此时就需要对数据进行增量迁移。这也是本文的主题：如果使用数据同步工具 Canal 实时把数据从 MySQL 同步到 OceanBase 。
【特别说明】这个教程使用的都是单机部署，只能用来演示。生产环境多为分布式集群部署。Canal 的部署也是支持集群的，需要配合 ZooKeeper 进行集群管理。
P.S. 配合视频教程一起食用效果更佳噢~~视频教程，点击OceanBase 监控工具 OceanBaseAgent
Canal 介绍
那么什么是 Canal 呢？官方给出的解释， Canal 是个数据同步工具，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。基于日志增量订阅和消费，Canal 有以下功能：
数据库镜像
数据库实时备份
索引构建和实时维护(拆分异构索引、倒排索引等)
业务 cache 刷新
带业务逻辑的增量数据处理
忽略官方的解释，通俗来说， Canal 就是一个数据同步工具。它能让 MySQL 和 OceanBase 建立联系，你在 MySQL 上进行的 DDL 、DML 操作，都能同步到 OceanBase 上。当然前提是 SQL 是两个数据库都支持的语法。
Canal 工作原理

文章图片

MySQL master 将数据变更写入二进制日志( binary log , 其中记录叫做二进制日志事件 binary log events ，可以通过 show binlog events 进行查看)
MySQL slave 将 master 的 binary log events 拷贝到它的中继日志( relay log )
MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据
canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
canal 解析 binary log 对象(原始为 byte 流)
以上内容部分摘自 Canal 官方 GitHub 仓库，更多信息，查看 Canal GitHub 仓库。
操作步骤
从 MySQL 增量同步数据到 OceanBase 总共分 3 步：
第 1 步，设置 MySQL
第 2 步，部署 Canal
第 3 步，写一些数据，测试实时同步功能
接下来我们按照上述步骤，来一起试一把数据同步。
第 1 步：设置 MySQL
MySQL 的安装本文就不介绍了，比较简单，网上也有很多教程。对于自建 MySQL ，需要先开启 Binlog 写入功能，打开 my.cnf 配置文件：

# 打开配置文件 vim /etc/my.cnf

添加这些配置：

[mysqld] log-bin=mysql-bin # 开启 binlog binlog-format=ROW # 选择 ROW 模式 server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复

更改配置之后需要重启 MySQL 新的配置才能生效。连接 MySQL ，查看是否生效：
mysql -uroot -p
可以看到此时 log_bin 已经打开，并且 binlog_format 的值为 ROW 。

mysql> show variables like 'log_bin'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | log_bin| ON| +---------------+-------+mysql> show variables like 'binlog_format'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | binlog_format | ROW| +---------------+-------+

现在创建 Canal 用户：

# 创建 Canal 用户 CREATE USER canal IDENTIFIED BY 'Canal123';

这里说一个我踩的坑，在设置密码时，如果不满足当前密码强度规则，会报错：

ERROR 1819 (HY000): Your password does not satisfy the current policy requirements

我们看看当前密码强度规则：

SHOW VARIABLES LIKE 'validate_password%';

密码包括 1 个特殊字符，按照要求重置密码，成功

CREATE USER canal IDENTIFIED BY 'Canal@123'; Query OK, 0 rows affected (0.00 sec)

# 现在为 canal 用户授权，*.* 表示所有库 GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%'; -- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ; FLUSH PRIVILEGES;

第 2 步：部署 Canal
本文使用的 Canal 是 OceanBase 的定制版本，详细信息，参考 Canal for OceanBase。
部署 Canal Deployer
Canal Deployer 是 Canal 的 server 端，它用来进行 binlog 到 CanalEntry 的转换。来到 Canal for OceanBase 仓库的 Rlease 页面，下载 Deployer 的安装包。然后创建解压目录并解压：

mkdir /tmp/canal2 tar zxvf canal.deployer-$version.tar.gz-C /tmp/canal2

cd /tmp/canal ls bin ：canal启动、重启、停止文件 conf：canal配置文件 lib ：canal运行所需的jar包，注意数据库驱动包版本，可手动更换 logs：canal运行日志 plugin：一些扩展包，如消息队列

修改实例属性配置文件
vi conf/example/instance.properties
这里只介绍我用到的配置，我们把用户名、密码改了就行

# username/password canal.instance.dbUsername=canal canal.instance.dbPassword=Canal@123

启动 Canal：
sh bin/startup.sh

文章图片

注意 Canal 启动需要安装 JAVA JDK，安装命令如下：
yum install java-1.8.0-openjdk* -y
生产环境建议用二进制包装，这样不会影响其他用户。解压以后配置环境变量就可以了。
现在查看日志，看看 Canal 有没有启动成功：

vi logs/canal/canal.log # 查看 Canal 实例的日志 vi logs/example/example.log

文章图片

通过日志，我们看到已经启动成功，接下来我们部署 Canal Adaptor。
部署 Canal Adaptor
Canal Adapter 是 Canal 的客户端适配器，它用来解析 CanalEntry 并将增量变动同步到目的端。还是从刚才提到的 Release 页面，下载对应的包，解压方式同上。我们直接来到安装目录，修改启动器配置文件，还是只介绍我用到的配置：

vim conf/application.ymlcanalAdapters:- instance: example # canal instance Name or mq topic namegroups:- groupId: g1outerAdapters:- name: logger- name: rdb# 指定为 rdb 类型同步key: mysql1 # 指定 adapter 的唯一 key, 与表映射配置中 outerAdapterKey 对应properties:jdbc.driverClassName: com.mysql.jdbc.Driverjdbc.url: jdbc:mysql://127.0.0.1:2881/amber?useUnicode=true#这里amber是待同步的database名称jdbc.username: root@amber_babe # jdbc username，ob的用户@业务租户，创建业务租户我就不演示了jdbc.password: root # jdbc password ob业务租户密码

默认的配置是注释的，我们需要打开。由于社区版 OceanBase 完全兼容 MySQL 协议，因此在使用时，将其视为 MySQL 配置即可。Adapter 服务在启动时，会加载对应类型 Adapter 配置目录（此处即conf/rdb/）下的所有配置文件。表映射有两种配置形式：按表映射同步和整库同步。我们直接同步数据库镜像，因为生产环境往往有多个表需要同步，修改 RDB 表映射文件有点麻烦。

vim conf/rdb/mytest_user.yml## Mirror schema synchronize config dataSourceKey: defaultDS destination: example groupId: g1 outerAdapterKey: mysql1 concurrent: true dbMapping:mirrorDb: truedatabase: amber # 只改这个，需要源库、目标库一模一样

第 3 步：同步数据
创建 database 和 table 我就不演示了，我们直接测试数据同步：
打开一个新的窗口，把日志打印出来，这样方便在插入数据时看到日志的变化。
tail -f x.log

文章图片

可以看到，左侧插入的数据

mysql> insert into amber1 values (7,8);

已经同步过来了，详情见屏幕右侧的日志。此时，你也可以连接到 OceanBase ，确认数据是不是真的同步过来了。
【数据同步（教你如何实时把数据从 MySQL 同步到 OceanBase）】写在最后
最后，来个小彩蛋， canal 的正确读法是 [k?'n?l] ，是运河的意思，比如著名的 Panama Canal（巴拿马运河）。我发现很多小伙伴会读成 ['k?n?l] ，记住是 [k?'n?l] 哦，重音在后面啦~~