MySQL Oracle到Apache Doris数据实时同步技术实践

叶正盛NineData创始人&CEO 个人简介–叶正盛 叶正盛 NineData创始人&CEO 资深数据库与云计算领域专家曾担任阿里云数据库产品管理与解决方案部总经理，阿里云技术架构与产品决策委员会核心成员阿里巴巴去IOE、异地多活、云计算多次技术变革核心成员构建阿里巴巴&蚂蚁集团数据库DevOps体系创立云计算数据传输DTS、数据管理DMS、数据库备份DBS、数据库自动驾驶服务DAS等多款云计算数据库产品 目录 数据库分类与数据复制简介01 NineData数据复制技术架构02 技术测试03 客户实践04 数据库与数据复制简介 国产数据库百花齐放 墨天轮收录：227个，2024年通过国家安全评测17个(*截至2024年12月) 云计算（多云/混合云）+数据库组合解决方案（多源） 字节跳动、小红书、米哈游、B站、小米、理想、小鹏、格力、美的、海尔、Minimax、Volvo中国移动、中国联通、中国电信、杭州银行、建设银行、光大银行、国家电网、中国石化OpenAI、Airbnb、Netflix、宝马、沃尔玛、Spotify、Dropbox、X(Twitter)调研企业： NineData：安全高效的管理无处不在的数据 数据复制典型场景 NineData数据复制技术原理 NineData数据复制：让数据自由流动，创造更多数据价值 数据同步性能测试 高性能实时复制（MySQL>ApacheDoris） 性能数据 •全量迁移：~15.2万rows/s•实时同步：~3.1万rows/s•同步延时：<1s 数据复制核心技术 •CDC日志解析（binlog）•分片读取与写入•数据压缩•多线程Streaming•DDL支持（自研SQLParse） 测试数据库硬件 •MySQL：2c16G/SSD•ApacheDoris：2c16G/SSD 高性能数据对比（MySQL&ApacheDoris）（百万记录/秒） 高性能实时复制（Oracle->PostgreSQL）国产化去Oracle 性能数据 •实时同步：4.5万rows/s•日志消费：100~200GB/小时 测试数据库硬件Oracle：4c32G/SSDPostgreSQL：4c32G/SSD 跨城远程全量数据复制（云DTSvsNineData） MySQL2c4G（上海） 客户案例：中国移动云数据复制 主要问题与挑战 客户本身有很多数据需要同步，同时还要提供数据复制产品给他的客户使用，比如该云的客户从其他云厂商或自建系统中迁移上云。应用场景复杂：包括迁移上云、跨云迁移、跨区域迁移、数据容灾、异地多活等业务场景。网络环境复杂：Region内部/Region之间，和其他云厂商与客户自有系统之间等各种链路。 使用成效 每天稳定运行的数据链路数百条。通过NineData双向复制构建了超长距离（超过1000公里）的异地多活集群，支撑业务高稳定运行。 客户实践：某医疗服务企业 核心需求：MySQL>ApacheDoris实时同步 主要问题与挑战 实时性：为了保证业务的连续性，数据同步过程需要尽可能地实时。需要高效的数据传输和处理机制。 数据与结构同步转换：MySQL和ApacheDoris拥有不同的数据类型和结构，在同步数据时，涉及到复杂的数据类型和结构映射，来确保迁移后数据的准确性。MySQL结构变化，Doris也需要同时变化缺乏监控告警机制：在数据同步过程中，可能会遇到各种不可预见的问题，导致同步中断。需要有效的告警机制来及时进行人工干预，以确保数据同步的稳定性。 使用成效 稳定运行1年边缘部署架构，安全高效、高性能DDL实时同步Summit Asia 2024 客户实践：某国有银行数据库国产化迁移同步 核心需求：去O、国产化数据库选型、数据同步质量与性能… 客户实践：沃尔沃 每天自动化完成数百次变更发布 如何 如何 “以其安全性和可靠性而闻名” 客户实践：绿城中国 管理数十家软件供应商数据库操作 数据库 客户实践：MiniMax（全球多云多源） •1个DBA管理数百个数据库•4朵云，数百个数据库接入•1个月完成数据库DevOps在公司全面上线 扫码关注NineData公众号 www.ninedata.cloud 让每个人用好数据和云 ThanksforWatching！