石梦飞：OceanBase Binlog如何和MySQL生态打通

BinlogService在MySQL生态中的应用与实践

01 Binlog在MySQL生态中的应用

应用场景

• Binlog在MySQL中的应用场景：主要用于数据同步、备份恢复、数据集成与分析等场景。
• OceanBase Binlog初衷：旨在提供易拓展、易集成、高可靠的数据处理体系。
• OceanBase Binlog能力：
  • 全兼容：高度兼容MySQL原生binlog管理语法和参数，平滑对接Canal、Flink等工具。
  • 低风险：通过异步方式抓取和传输数据，提供动态流量控制策略，不影響主库性能。
  • 高可用：支持集群化部署和横向扩展，提供稳定的架构。
  • 易管理：用户可通过OceanBase租户管控台快速开通和管理Binlog服务，并监控资源使用。
• 客户案例：
  • 实例规模：云服务上Binlog实例数超过200个。
  • 集群规模：阿里云、AWS、华为云、腾讯云已有超过110个集群开通Binlog服务。
  • 客户数量：服务覆盖60+客户。
  • 下游工具：平滑对接Canal、Debezium、Maxwell等10+下游工具和云服务。

02 架构介绍

BinlogService架构

• 多实例的GITD一致性保障：
  • 问题：多实例环境下，同一gtid在不同实例中对应的事务序列可能不一致，导致下游连接重连时数据丢失。
  • 解决方案：
    • 利用xid列（OB事务ID）和commit version列（事务提交版本号）实现可重演的事务序列。
    • 从同一位点拉取事务日志时，xid和commit version一致，确保数据一致性。
• 提供监控告警能力：支持Prometheus的通用监控告警方案。

03 应用实践

BinlogService应用场景

• SQL审计备份回滚：通过Binlog解析实现SQL审计和备份恢复。
• 数据集成与分析：接入步骤与MySQL一致，支持FlinkCDC等工具。

接入步骤

1. 设置execution.checkpointing.interval=3s。
2. 创建数据源表：

   CREATE TABLE ny_energy_data_source (
       id BIGINT,
       enterprise_id BIGINT,
       use_time TIMESTAMP,
       date_type INT,
       attribute_id BIGINT,
       PRIMARY KEY (`id`) NOT ENFORCED
   ) WITH (
       'connector'='mysql-cdc',
       'hostname'=‘xxxx’,
       'port'=‘xxxx’,
       'username'='logproxy@mysql#ob4x.admin',
       'password'=‘xxxx’,
       'database-name'='test_source',
       'table-name'='t1_source'
   );
   

3. 插入数据：

   INSERT INTO ny_energy_data_target SELECT * FROM ny_energy_data_source;
   INSERT INTO test_source.t1_source VALUES (1,1000,now(),0,1);
   INSERT INTO test_source.t1_source VALUES (2,1000,now(),0,1);
   

• SQL审计备份恢复：
  • Inception备份步骤：
    1. 配置备份数据库，开启备份功能。
    2. 记录binlog位置和线程号。
    3. 执行SQL。
    4. 再次记录binlog位置和线程号。
    5. 开始备份，解析远程服务器binlog。
    6. 创建备份库和备份信息表。
    7. 创建备份表。
    8. 解析binlog并生成回滚语句，写入备份表。