数据传输服务，护航业务上云——一键迁移+多活架构，轻松保障业务连续性

数据迁移与灾备中心建设案例分享 目录Menu 1.产品简介2.重点功能3.落地案例 01产品简介 DBbridge产品简介 数据库应用服务迁移（DBbridge）是一款支持同构/异构数据库之间进行数据传输的企业级产品。通过DBbridge可以帮助企业实现在线数据库传输，满足企业多样化数据传输、数据汇聚、数据灾备等业务场景，帮助企业建立数据之间的流动，打造数据间的互联互通。 产品优势 支持链路丰富 高性能传输 支持异构和同构数据迁移，例如Oracle->TDSQL MySQL或TDSQLPostgreSQL(Oracle/PG模式)，TDSQLMySQL->Kafka等支持迁移任务内进行结构订正，无需影响源库业务持续运行 底层服务采取了多种性能优化措施，相对于传统的数据迁移工具，极大提升了传输性能某国有大行跑批，Binlog解析最高速度达700MB/s 简单易用 故障自动恢复 只需花费几分钟的时间就能设置一个迁移任务，白屏化操作轻松上手支持灵活定义各项迁移任务参数，同时可按需分配底层资源依赖 集群内每个节点均具备高度的恢复和自愈能力，支持故障秒级恢复高可用部署方案支持数据链路断点续传，保障数据传输稳定可靠 DBbridge应用场景 业务无缝迁移 数据准实时分析 版本升级 支持异构数据库迁移（Oracle和DB2为源等），在业务适配完成后，可轻松实现商业化数据库的数据迁移，完成数据库国产化改造，将停机时间降低到分钟级 支持跨版本升级，解决数据库跨版本不兼容导致的升级难问题，业务可轻松升级到最新版本，将业务影响降低到分钟级 支持数据库中数据的变更进行准实时消费，根据业务需要汇聚数据到Kafka中，配合下游数据分析系统，进行数据实时分析和可视化展示 •TDSQLMySQL/TDSQLPostgreSQL到TDSQLMySQL/TDSQLPostgreSQL •TDSQLMySQL到Kafka •Oracle/DB2到TDSQLMySQL/TDSQLPostgreSQL•TDSQLMySQL/TDSQLPostgreSQL到TDSQLMySQL/TDSQLPostgreSQL 02重点功能 异构数据迁移 •结构订正:对于异构数据迁移，源端结构写入目标端失败使，支持在链路中修正表结构；在不影响源端表结构的前提下，完成结构迁移•数据类型映射:异构数据迁移，自动完成字段类型映射；对于TDSQL PostgreSQL支持多种数据库兼容模式（Oracle/PG兼容模式） 结构、全量、增量数据同步 断点续传，指定时间点 稳定性高：支持结构订正及断点续传 •全量及增量阶段支持断点续传:全量阶段分块导入，支持从当前中断的分块处重入，提升全量数据迁移的稳定性；增量阶段支持从中断位点接续，保障增量任务持续运行•指定时间点同步:增量阶段支持从指定的时间点开始同步，用于增量任务中断后的新建任务，新任务可接续之前老任务继续同步 •对于异构数据库，支持结构初始化阶段，在迁移链路中订正表结构•支持断点续传和指定时间点同步，尽快完成数据迁移•支持增量DML及DDL过滤，减少源端数据变更对目标端数据的影响 增量DML及DDL过滤 •自定义过滤DML及DDL操作:目标端（数据库或者Kafka）需要屏蔽源端数据库的某些变更操作，可以过滤指定DML或者DDL 进度可视化 •结构、全量迁移状态可视化:支持实时查看结构、全量数据的迁移进度和状态，实时掌握迁移进度 一致性校验工具 一致性校验 •一键部署，独立运行：可独立于迁移任务运行，简单配置源端和目标端数据库信息，即可发起一致性校验 可信度高：割接前快速完成数据比对 支持多种校验逻辑 •数据校验工具可独立迁移任务运行，校验数据一致性•支持完整对比、行数对比、指定列对比，快速得到一致性校验结果 •完整校验/抽样校验：按照一定数据比例随机选择数据校验，得到不一致校验结果•指定列校验：指定主键列及相关列，便于快速验证数据一致性•行数校验：校验源端和目标端数据行数，快速校验数据一致性 精准的数据不一致结果 •不一致结果精确到行：对于不一致数据，可以直接查看不一致数据详情，快速定位不一致数据内容 运营端扩展运维能力范围边界 •任务系统参数可调整:运维端支持调整任务运行的系统参数，支持隔离运维人员和业务人员使用权限，任务管理安全高效•任务使用资源可管控：支持调整任务或者底层组件资源上限，动态调整任务运行占用资源 运维操作及系统集成 系统及任务监控可观测 运维能力强：运营端调整任务参数 •可视化监控视图:任务运行状况可以实时观测，重点指标支持配置告警策略，掌握数据延迟、任务中断等重要任务状态信息•监控数据打通业务监控体系：任务运行情况、任务监控指标告警可以投递到指定Kafka，通过订阅Kafka内的监控数据，同业务监控系统打通 •运营端支持指定权限用户调整任务系统参数、组件资源使用限制，增强运维能力•支持监控数据投递到Kafka，同业务监控系统打通•提供任务管理API，支持业务系统集成数据迁移能力•支持迁移任务一键反向切割 提供任务管理API •支持业务系统集成数据迁移API:提供开放的任务管理API，业务可以集成数据迁移能力，完成内部迁移平台的开发 迁移任务一键反向切割 •支持迁移任务正反向切换:提供控制台交互向导式操作流程，同时支持API集成业务运维系统，分钟级完成迁移割接、数据快速校验和反向回流搭建 03落地案例 Oracle数据迁移+回流 项目背景 •客户场景：国内某汽车厂商、某农商行，使用Oracle作为业务数据库，客户需要迁移到国产化数据库TDSQL MySQL中，完成数据下移，并在完成割接后，将国产化数据库TDSQL MySQL中的增量数据，回迁到Oracle中。 •核心要求：Oracle到TDSQL MySQL数据迁移，异构数据平滑迁移、数据一致性。 •技术挑战：异构数据库迁移。 方案 利用DBbridge搭建数据迁移链路，将Oracle数据库迁移至腾讯云国产分布式数据库TDSQL MySQL。 关键技术 异构数据迁移：通过DBbridge处理异构数据类型映射，平滑迁移数据数据一致性校验：迁移完成后，通过一致性校验功能快速进行对比，验证迁移结果。全量及增量数据无缝迁移：源库业务无需中断，创建一条任务即可完成存量及增量数据迁移。 落地结果 某汽车厂商、某农商行，成功完成Oracle中到TDSQL MySQL分布式数据库改造及迁移。针对有回迁诉求的某农商行成功完成TDSQL MySQL到Oracle数据库回迁，用时4.5小时，完成400GB数据迁移，满足上线要求。 数据库版本升级 项目背景 •客户场景：源端TDSQL MySQL分布式数据库，需要进行TDSQL MySQL内核及Proxy跨版本升级，保证源端数据库业务正常写入的前提下，完成存量和增量数据迁移，增量期间单日新增数据约1.4TB。 •核心要求：TDSQL MySQL到TDSQL MySQL版本升级，可实时追平增量差距，支持一致性校验。 •技术挑战：数据库跨版本升级。 方案 关键技术 利用DBbridge进行数据存量及增量迁移，迁移完成后，对比同步结果，确认数据一致性后进行业务割接。 增量迁移满足性能要求：迁移进行到增量阶段，单日新增数据约1.4TB，在全量完成后快速追平差距。数据一致性校验：迁移完成后，通过一致性校验快速进行完整、抽样对比，验证迁移结果。 落地结果 某国有大行，完成TDSQL MySQL到TDSQL MySQL跨版本升级，平稳上线生产环境：增量期间单日新增数据约1.4TB。 分布式数据聚合+两地四中心灾备 项目背景 •客户场景：源端TDSQL MySQL分布式数据库多单元聚合到TDSQL MySQL集中式中，同时需要TDSQL MySQL同城和异地灾备中心建设，满足合规要求。 •核心要求：TDSQLMySQL分布式到TDSQLMySQL集中式长期同步，可实时追平增量差距，支持一致性校验。 •技术挑战：数据库长期汇聚同步，中断及延迟挑战更高 方案 利用DBbridge进行同城+异地增量同步，同步过程中，保证两端数据一致。 关键技术 增量同步过程中需要满足高并发10s内传输延迟，确保准实时数据汇聚机房异常离线后，20s内链路切换容灾恢复，确保交易不停机 落地结果 某国有股份制商业大行，完成TDSQL MySQL分布式到TDSQLMySQL集中式两地四中心数据汇聚+灾备中心建设，满足业务实时和高可用需求。 国产分布式数据库实时同步 项目背景 •客户场景：国内某股份制银行，源端TDSQL MySQL分布式实例，通过DBbridge同步到下游消费系统，Binlog解析速率达700MB/s，及时同步业务数据到下游数据分析系统。 •核心要求：TDSQL MySQL到Kafka数据同步，链路长期稳定运行、异常可恢复、实时同步时延要求极高。 •技术挑战：同步性能匹配源端生产速率，跑批完成后快速缩短源端数据差距 方案 利用DBbridge搭建数据同步链路，将TDSQL MySQL数据库的数据变化实时投递至Kafka中，客户从Kafka消费数据并统计分析。 关键技术 数据正确性保证：对于分布式数据库，处理多个SETBinlog中的DDL和DML操作，屏蔽底层分片的复杂逻辑。断点续传：任务异常中断恢复时，数据可接续同步。丰富的数据投递策略：支持投递至Kafka的单Topic多Partion，也支持投递至Kafka的多Topic。支持按表名、表名+主键、自定义路由等多种分区投递策略。 落地结果 某国有大行，上线TDSQL MySQL到Kafka长期同步链路，上线生产环境：Binlog解析速率达700MB/s。 一键迁移及多活架构搭建助力企业上云 杜乔倩DTS产品经理 目录Menu 1.业务痛点及传输诉求2.DTS能力全景3.迁移上云最佳实践4.异地双活架构搭建 业务痛点及传输诉求 数据库是现代企业和组织的核心组成部分，随着企业业务的增长，为了减轻运维压力、获得动态扩缩容的能力，很多企业选择将业务切换到云上，其中数据库是上云中的重要一环，在此过程中便会产生数据迁移、数据分库分表、异地扩展数据传输等诉求业务 业务痛点 数据库版本升级、业务搬迁，提升数据库运维难度 迁移/升级对业务影响的担忧：业务停机时间、数据一致性 保障数据准实时同步，链路搭建及维护成本高 •数据库数据集成至数仓、数据湖•数据库数据入大数据分析平台 迁移方案设计 •评估源库与目标库兼容性：测试环境中，业务在目标端进行充分验证•选择合适的迁移策略：结构+全量+增量迁移，高级对象一次性迁移•迁移方案设计：割接流程，异常回滚应急处理 迁移上云最佳实践 迁移实施流程 •上云背景 •正向迁移任务创建：提前进行全量数据迁移，迁移期间业务仍可持续对外提供服务 •割接前数据校验：周期性全量数据校验，确保两端数据一致•业务割接：业务停止源端写入，创建并启动反向仅增量同步链路•业务切换与验证：业务切换至目标端，验证业务逻辑 某互联网企业，业务快速扩展，为了减轻运维压力，欲将自建数据库迁移至云上。 •迁移方案设计 迁移效果 迁移策略设计、割接流程、回滚应急处理 •业务平滑切换：切换到云上数据库后，满足业务诉求•运维成本降低约60% 迁移上云最佳实践 •上云背景 某互联网企业，业务快速扩展，为了减轻运维压力，欲将自建数据库迁移至云上。 •迁移方案设计 迁移策略设计、割接流程、回滚应急处理 一键迁移产品能力设计 切割流程自动化，降低操作复杂度 多活方案设计 •选择合适的同步策略：规划业务单元化及同步链路配置，针对可能出现的数据冲突、结构冲突进行预处理•异常处理方案设计：针对实例、可用区、地域故障进行演练，在异常发