行业研究公司研究宏观策略财报招股书会议纪要海南封关低空经济 DeepSeek AIGC 大模型

石梦飞：OceanBase Binlog如何和MySQL生态打通

基础化工2024-08-22-OceanBase故***

AI智能总结

BinlogService在MySQL生态中的应用与实践

01 Binlog在MySQL生态中的应用

应用场景

Binlog在MySQL中的应用场景：主要用于数据同步、备份恢复、数据集成与分析等场景。
OceanBase Binlog初衷：旨在提供易拓展、易集成、高可靠的数据处理体系。
OceanBase Binlog能力：
- 全兼容：高度兼容MySQL原生binlog管理语法和参数，平滑对接Canal、Flink等工具。
- 低风险：通过异步方式抓取和传输数据，提供动态流量控制策略，不影響主库性能。
- 高可用：支持集群化部署和横向扩展，提供稳定的架构。
- 易管理：用户可通过OceanBase租户管控台快速开通和管理Binlog服务，并监控资源使用。
客户案例：
- 实例规模：云服务上Binlog实例数超过200个。
- 集群规模：阿里云、AWS、华为云、腾讯云已有超过110个集群开通Binlog服务。
- 客户数量：服务覆盖60+客户。
- 下游工具：平滑对接Canal、Debezium、Maxwell等10+下游工具和云服务。

02 架构介绍

BinlogService架构

多实例的GITD一致性保障：
- 问题：多实例环境下，同一gtid在不同实例中对应的事务序列可能不一致，导致下游连接重连时数据丢失。
- 解决方案：
  - 利用xid列（OB事务ID）和commit version列（事务提交版本号）实现可重演的事务序列。
  - 从同一位点拉取事务日志时，xid和commit version一致，确保数据一致性。
提供监控告警能力：支持Prometheus的通用监控告警方案。

03 应用实践

BinlogService应用场景

SQL审计备份回滚：通过Binlog解析实现SQL审计和备份恢复。
数据集成与分析：接入步骤与MySQL一致，支持FlinkCDC等工具。

接入步骤

设置execution.checkpointing.interval=3s。

创建数据源表：

CREATE TABLE ny_energy_data_source (
    id BIGINT,
    enterprise_id BIGINT,
    use_time TIMESTAMP,
    date_type INT,
    attribute_id BIGINT,
    PRIMARY KEY (`id`) NOT ENFORCED
) WITH (
    'connector'='mysql-cdc',
    'hostname'=‘xxxx’,
    'port'=‘xxxx’,
    'username'='logproxy@mysql#ob4x.admin',
    'password'=‘xxxx’,
    'database-name'='test_source',
    'table-name'='t1_source'
);

插入数据：

INSERT INTO ny_energy_data_target SELECT * FROM ny_energy_data_source;
INSERT INTO test_source.t1_source VALUES (1,1000,now(),0,1);
INSERT INTO test_source.t1_source VALUES (2,1000,now(),0,1);

SQL审计备份恢复：
- Inception备份步骤：
  1. 配置备份数据库，开启备份功能。
  2. 记录binlog位置和线程号。
  3. 执行SQL。
  4. 再次记录binlog位置和线程号。
  5. 开始备份，解析远程服务器binlog。
  6. 创建备份库和备份信息表。
  7. 创建备份表。
  8. 解析binlog并生成回滚语句，写入备份表。

石梦飞 OB生态产品团队-数据迁移 Contents目录 01Binlog在MySQL生态中的应用 02BinlogService实现 03BinlogService应用实践 01应用场景 Binlog在MySQL中的应用场景 OceanBaseBinlog初衷易拓展易集成高可靠基于BinlogService更易构建开放、灵活的数据处理体系集群化部署,保证数据同步的稳定可靠并支持横向扩展现有的上下游系统如FlinkCDC、Canal、Otter等系统可以无缝的对接BinlogService OceanBaseBinlog能力全兼容高度兼容MySQL原生的binlog管理语法和参数，平滑对接Canal、Flink等多种基于Binlog订阅的工具低风险通过异步方式进行数据抓取和传输，提供动态流量控制策略；BinlogService不会对主库造成性能影响 BinlogService提供了集群化部署方式实现服务的高可用，为核心业务的数据流应用提供稳定的架构；支持横向拓展用户在OceanBase租户管控台即可快速开通和管理Binlog，并对服务的运行和资源使用进行监控；提供完善的SQLAPI可以灵活、高效地管理和使用Binlog服务 BinlogService已在公有云国内及海外站点发布；社区版BinlogService 客户案例 110集群 200+实例 Binlog实例数目前在云服务上已经超过了200个阿里云、AWS、华为云、腾讯云已经有超过110个集群开通Binlog服务，并切换到生产订阅 60+客户 10+下游工具目前已经平滑对接和适配了包括Canal、Debezium、Maxwell、DTS、DMS、DRS、Cloudcanal、FinkCDC等近10几款工具和云服务 02架构介绍 BinlogService架构多实例的GITD一致性保障引入多实例后出现的问题 1.对于同一个gtid，比如4849646f-4dc7-11ed-85a9-7cd30abc99b4:100，在BS#1和BS#2的binlog文件中对应的实际是不同的事务 2.对于同一gtid范围，比如4849646f-4dc7-11ed-85a9-7cd30abc99b4:100:9999，在BS#1和BS#2的binlog文件中对应的实际是不同的事务序列。总结来说即同一gtid（集合）在不同binlogserver实例中对应的事务序列不一致。当下游连接基于gtid重连时，如果连接从BS#1断连重连到BS#2，基于gtid（集合）的定位原理，下游会丢失数据。 xid列表示OB吐出的事务id commit version列表示OB吐出的每个事务对应的commit version，具有单调递增但相邻事务可能相同的特性 xid列和commit version列具有可重演的特性，从同一位点拉取事务日志时，吐出的事务序列其xid和commit version都一致提供监控告警能力支持prometheus的通用监控告警方案 03应用实践 BinlogService应用场景 SQL审计备份回滚数据集成与分析接入步骤和MySQL一致SETexecution.checkpointing.interval= 3s; createtableny_energy_data_source(idbigint,enterprise_idbigint,use_timetimestamp,date_typeint,attribute_idbigint,PRIMARYKEY(`id`)NOTENFORCED)WITH('connector'='mysql-cdc','hostname'=‘xxxx','port'=‘xxxx','username'='logproxy@mysql#ob4x.admin','password'=‘xxxx','database-name'='test_source','table-name'='t1_source'); insertintony_energy_data_targetselect*fromny_energy_data_source;--插入数据insertintotest_source.t1_sourcevalues(1,1000,now(),0,1);insertintotest_source.t1_sourcevalues(2,1000,now(),0,1); SQL审计备份恢复 goInception备份步骤如下: 1.配置备份数据库，并在执行SQL时开启备份功能 2.在执行SQL前记录binlog位置和线程号(逐条执行逐条记录) 3.执行SQL 4.在执行SQL后记录binlog位置和线程号 5.开始备份，解析远程服务器binlog 6.在备份服务器创建备份库 7.创建备份信息表，写入执行信息和binlog位置信息 8.创建备份表 9.逐步解析binlog，并生成回滚语句，写入备份表谢谢

点击免费查看完整报告