NineData数据复制技术原理与实践

NineData数据复制技术原理与实践 跨云10000公里实时数据复制 演讲人：叶正盛NineData创始人& CEO 叶正盛 NineData创始人&CEO •资深数据库与云计算领域专家•曾担任阿里云数据库产品管理与解决方案部总经理，阿里云技术架构与产品决策委员会核心成员。•阿里巴巴去IOE、异地多活、云计算多次技术变革核心成员•构建阿里巴巴&蚂蚁集团数据库DevOps体系•创立了云计算数据传输DTS、数据管理DMS、数据库备份DBS、数据库自动驾驶服务DAS等多款云计算数据库产品 目录CONTENTS 数据库与数据复制简介 数据复制场景与挑战 NineData架构与技术实践 数据库与数据复制简介 数据库与生态产品 数据复制核心场景与挑战 数据复制场景 数据迁移上云、国产化、容灾/只读实例、ETL 数据迁移、上云 云厂商数据库（兼容MySQL） 云虚拟机自建MySQLRDS MySQLAurora/PolarDB/TDSQL/GaussDB 同版本、跨版本、远程网络不通、不停机迁移 OLTP->OLAP 异构转换、远距离、实时同步 数据容灾、只读实例 挑战：异构转换、远距离、实时同步、跨云 数据库国产化 数据复制挑战 市场主要技术产品优势与不足 NineData数据复制：国产化、多云多源、实时、云原生 NineData设计架构 NineData数据复制理念 Any Time Any Where Any Data 支持IDC、云厂商、各种网络、各个地域，让数据流动不存在阻碍 SaaS模式，简单配置，随时可用；强一致实时同步，随时构建复杂灵活的业务场景 支持Oracle、MySQL、Redis、Doris、达梦等数60种数据源 NineData数据复制与对比：数据流动的基础设施 Any Where ü通过分布式云原生技术，与主流云厂商无缝集成 ü业界首个实现了连接多个云、多个区域以及IDC私有网络的数据管理PaaS服务 Any Time（IDC、Cloud/弹性升级） 断点续传 弹性升级 NineData Replication Architecture NineData技术实践 高性能、高可用 很少产品能做到生产可用 高性能实时数据复制（MySQL->MySQL） 全量迁移：116MB/s增量迁移：8万行/秒 •CDC日志解析（binlog）•DDL支持（自研SQLParse）•分片读取与写入•数据压缩•多线程Streaming 高性能实时复制（Oracle->PostgreSQL）国产化去O 实时同步：4.5万rows/s日志消费：100~200GB/小时 •CDC日志解析（redolog）•DDL支持（自研SQLParse）•分片读取与写入•数据压缩•多线程Streaming 远程全量数据复制（云DTS vs NineData） 记录数：19228685 MySQL 2c4G（深圳）MySQL 2c4G（上海） 数据质量（数据对比） NineData(31秒) vs SQLDelta(688秒)性能提升20倍 对比数据：1.6亿条，空间：32GB用时：109秒性能：293MB/s，146万行/s 核心算法：GroupRecursiveHash、Any2Any 高可用 •硬件&软件故障监控（HA/Docker）•Schema动态变化（SQLParse）•网络质量（高速加密通道）•Binlog被归档（外部API对接）•断点续传（事务位点持久化）•任务隔离（Docker）•动态升级（事务位点管理/Docker） NineData数据复制能力及优势 完备的结构同步 表、索引、视图、函数、存储过程… 功 能 特 性 及 优 势 同异构数据源 支持同构及异构数据源之间的对象结构复制，简化复制初始化门槛 超越竞品，覆盖所有对象 支持所有对象类型的结构复制。超越市面上大部分产品。 完善异常检测及恢复能力 全面的监控报警机制，精准定位异常不兼容特性，提供一键自助修复能力 高性能全量同步 复制性能超100 MB /秒，首创新型断点能力，复制质量有效保障 功 能 特 性 及 优 势 超越竞品，提供强劲复制性能通过智能数据分片，行级并发，批量复制等策略，有效保障复制性能。 业界首创，保障数据准确性 首创新型断点续传技术，保障无主键表的数据准确性。配合数据一致性校验，数据质量无忧。 多种机制保障任务可靠性 全面的监控报警机制，内置任务异常检测及自修复机制，提升任务可用性。任务限流，保障数据库稳定性 高性能增量同步 复制性能超10万RPS，首创新型断点能力，复制质量有效保障 功 能 特 性 及 优 势 支持全对象类型，DML/DDL 除DML，支持DDL更新复制。超越市面上大部分产品 超越竞品，提供强劲复制性能 保障事务一致性的基础上，结合事务级并发，热点合并等技术，提供强劲复制性能 业界首创，保障数据准确性 首创新型断点续传技术，保障无主键表的数据准确性。配合数据一致性校验，数据质量无忧 多种机制保障任务可靠性 多版本MetaData，任务异常，平滑重启全面的监控报警及自修复机制 异常处理 可观测、可干预，复制稳定性有效保障 数据对比 结构/数据精准对比及订正 功 能 特 性 及 优 势 覆盖所有对象 支持所有对象类型的结构对比。兼容不同版本的部分差异化，避免误报。 强劲对比性能，100万/秒 结合智能数据分片、批量混检、抽样检查等众多核心技术，实现强劲对比性能。 数据库稳定性有效保障 动态监测数据库负载，动态调整对比负载，保障数据库稳定性。 完善异常定位及修复能力 全面的监控报警机制精准定位不一致属性，提供订正脚本。 数据对比 结构/数据精准对比及订正 功 能 特 性 及 优 势 覆盖所有对象 支持所有对象类型的结构对比。兼容不同版本的部分差异化，避免误报。 强劲对比性能，100万/秒 结合智能数据分片、批量混检、抽样检查等众多核心技术，实现强劲对比性能。 数据库稳定性有效保障 动态监测数据库负载，动态调整对比负载，保障数据库稳定性。 完善异常定位及修复能力 全面的监控报警机制精准定位不一致属性，提供订正脚本。 NineData实践案例 客户案例：中国移动云数据复制 客户是一家大型国资云，在全国有超过30+Region Mysql,sqlserver,mongodb,redis,clickhouse,kafka,oracle 主要问题与挑战 客户本身有很多数据需要同步，同时还要提供数据复制产品给他的客户使用，比如该云的客户从其他云厂商或自建系统中迁移上云。 应用场景复杂：包括迁移上云、跨云迁移、跨区域迁移、数据容灾、异地多活等业务场景。 网络环境复杂：Region内部/Region之间，和其他云厂商与客户自有系统之间等各种链路。 使用成效 每天稳定运行的数据链路超过100+。通过NineData双向复制构建了超长距离（超过1000公里）的异地多活集群，支撑业务高稳定运行。 客户案例：易客满（跨境物流） 多云10000公里远距离数据实时复制，延时<2秒从Canal/Otter迁移到NineData 客户案例：某跨境电商跨境数据复制 从Canal迁移到NineData多云10000公里实时数据同步，MySQL -> ClickHouse/MySQL 主要问题与解决方案 销售、广告等数据需要同步到一个集中的地方进行分析和处理。目前是将数仓建设在了本地机房，使用Clickhouse。 之前尝试自行搭建数据链路，但遇到配置复杂、弱网环境、网络带宽等问题，在数据链路上花费了较多的时间和成本。 在了解NineData的多云支持以及广泛的网络访问支持后选择了NineData。 使用成效 每天超过5条超长链路稳定运行。客户原来在新加坡和阿里云杭州的网络带宽比较小，通过使用NineData的共享带宽后同步速度大幅提升并降低成本。客户对NineData提供的完善运维功能非常喜欢，能够快速解决业务上带来的数据订正等问题。 关于NineData：合作与认证 移动云数据库传输供应商 移动云数据库传输供应商，支撑移动云客户上云、跨云迁移、跨资源池迁移、数据库容灾及异地多活等业务场景。 等保三级公安部认证非金融单位最高级别认证 云服务信息安全管理体系符合ISO/IEC 27017:2015中国认可、国际互认 AWS FTR认证更安全、更可靠 NineData公众号二维码 谢谢www.ninedata.cloud 让每个人都用好数据和云 谢 谢 大 家www.ninedata.cloud 让每个人都用好数据和云