腾讯云数据库迁移手册

腾讯云计算（北京）有限责任公司2024 年 编委 腾讯云数据库团队（具体名单待定） 某知名保险公司信息管理处处长李处长 某大型银行数据管理人员段女士 信达期货有限公司副总经理王海平 某央企金控公司公司首席数字官刘伟明 深圳亚联财小额贷款有限公司数据部负责人欧阳惠云 中国燃气集团公司数字化部总经理韩鹏 春秋航空股份有限公司信息技术部总经理邱豪奇 德邦物流股份有限公司 CTO殷皓 某大型化工制造企业总裁办 & 信息中心总监Tina 前言 当今世界正在迅速进入以新一代信息技术为主导的大发展时期。在技术演进、业务牵引、政策驱动下，企业对数据库迁移产业巨大诉求。腾讯云数据库副总经理罗云认为，数据库迁移能为企业降本增效，助力企业业务创新，提升核心能力。 近年来，中国数据库迁移产业发展迅速，但目前仍处于产业发展前期。数据库迁移是个新事物，加上技术性强，部分企业客户对数据库迁移“心有余而力不足”，不知如何实施数据库迁移；在现实中，数据库迁移存在诸多痛点与困惑。 腾讯云以卓越科技能力助力各行各业数字化转型，为客户提供领先的云计算、大数据、人工智能服务，以及定制化行业解决方案。从 2004 年开始，腾讯核心业务便大规模使用分布式架构数据库。目前，腾讯云在金融、能源、交通等行业已有众多成功实践。 为了持续推动中国数据库迁移产业发展，腾讯云倾心分享自身在多个行业的数据库迁移实践经验，并携手业内、外合作伙伴，编制《数据库迁移手册》。 本手册共分四章。第一章，数据库迁移价值；该部分分析了数据库迁移背景、场景、需求与预期收益。第二章，数据库迁移方案；该部分介绍了数据库迁移方案、产品与工具。第三章，数据库迁移实施；该部分论述了数据库迁移中的测试、实施与效果验证。第四章，数据库迁移案例；该部分分享了金融、能源、交通三个行业共十家企业的数据库迁移实践案例。 真诚希望，本手册能给数据库迁移生态伙伴们带来一些参考、借鉴！ CONTENTS目录 数据库迁移价值第一章01 011.为什么要进行数据库迁移 1.1 技术演进1.2 业务牵引1.3 政策驱动010102 022.数据库迁移适用哪些场景 2.1 需求场景2.2 运维场景2.3 数据场景2.4 迁移场景02020203 033.数据库迁移能实现的收益 3.1 降本增效3.2 更好的灵活性和可扩展性3.3 更高的可用性和容灾能力3.4 提高数据安全性3.5 提升竞争能力0303040404 数据库迁移方案第二章05 051.数据库迁移思路 1.1 数据库迁移内容1.1.1 结构迁移1.1.2 数据迁移1.1.3 应用迁移05050505 1.2.1 相同版本的数据库之间的迁移1.2.2 不同版本的数据库之间的迁移1.2.3 不同类型的数据库之间的迁移060708 1.3 数据库迁移流程10 112.数据库迁移评估 2.1 迁移痛点调研2.2 业务资源分析2.3 迁移需求评估111213 CONTENTS目录 143.数据库迁移方案 3.1 迁移规划3.1.1 总体规划3.1.2 资源规划3.1.3 迁移规划3.1.4 测试规划3.1.5 验收规划141414141414 3.2 方案设计14 3.2.1 数据量不大、停机时间窗口较长的场景迁移方案3.2.2 数据量大、停机时间窗口很短的场景迁移方案3.2.3 轻量级数据规模、停机时间窗口较长的场景迁移方案3.2.4 轻量级数据规模、停机时间窗口很短的场景迁移方案3.2.5 某金融企业异构数据库（从 Oracle 到 TDSQL）迁移方案3.2.6 某政府机构异构数据库（从 Oracle 到 TDSQL）迁移方案151515161617 3.3 产品选型18 3.3.1DTS-DBbridge 产品3.3.2 云数据迁移 CDM 服务3.3.3 迁移服务平台 MSP182324 数据库迁移实施第三章25 251.数据库迁移准备 1.1 制定计划1.2 架构改造1.2.1 网络改造1.2.2 运维改造1.2.3 应用改造2525252526 1.3.1 产品部署概述1.3.2 部署 TCS 底座1.3.3 部署 DBbridge 组件1.3.4 部署完成后参数修改1.3.5 升级 DBbridge1.3.6 回退 DBbridge1.3.7 卸载 TCS26292929293030 CONTENTS目录 302.数据库迁移实施 2.1 搭建测试环境2.1.1 工具和软件包2.1.2 系统连接信息2.1.3 测试环境信息（X86）2.1.4 测试环境信息（ARM）3030333434 2.2.1Oracel->TDSQL MySQL2.2.2TDSQL MySQL->TDSQL MySQL2.2.3MySQL->TDSQL MySQL2.2.4TDSQL MySQL->Kafka35363738 2.3 正式迁移实战42 2.3.1 迁移项目需求2.3.2 迁移方案计划2.3.3 测试环境部署2.3.4 测试库 - 数据库迁移2.3.5 业务迁移适配2.3.6 中间库 - 数据库迁移2.3.7 业务验证及性能测试42424445515151 523.数据库迁移交割 3.1 数据比对3.2 业务验证3.3 服务交割3.4 业务回切52535455 数据库迁移实战案例第四章56 561.金融行业实战案例 1.1 某知名保险集团有限公司数据库迁移实战案例1.2 某大型银行数据库迁移实战案例1.3 信达期货有限公司对行业应用数据库迁移建议的案例1.4 上海和合首创投资管理公司数据库迁移实战案例1.5 某央企金控公司数据库迁移实战案例1.6 亚财联股份有限公司数据库迁移实战案例565960626465 CONTENTS目录 2.1 中国燃气集团公司数据库迁移实战案例2.2 某大型化工制造企业数据库迁移实战案例6870682.能源行业实战案例 3.1 春秋航空股份有限公司数据库迁移实战案例3.2 德邦物流股份有限公司数据库迁移实战案例7374723.交通行业实战案例 资料来源77 CONTENTS图表目录 图表 1腾讯云数据库迁移产品适用场景图表 2数据库存迁移流程图表 3企业数据库迁移痛点调研统计图表4某金融企异构数据库一站式迁移方案图表5腾讯迁移产品DBBRIDGE图表 6腾讯云DTS-DBBRIDGE的优势：支持多种和丰富的数据库类型图表 7DTS-DBBRIDGE技术架构图表 8DTS-DBBRIDGE迁移评估模块图表 9DTS-DBBRIDGE迁移校验模块图表 10DTS-DBBRIDGE平台功能模块图表 11腾讯DBBRIDGE部署配置步骤图表 12腾讯数据库迁移产品部署对软硬件配置要求图表 13腾讯数据库迁移产品部署对服务器的配置要求图表 14使用SYSBENCH用于全量阶段的性能测试图表 15用于数据库TPCC性能测试的BENCHMARK工具图表 16系统连接信息图表 17测试环境信息图表 18ORACEL2TDSQL MYSQL高可用测试图表 19高可用部署测试评估图表 20单节点部署测试评估图表 21TDSQL分布式集群架构图表 22数据库迁移方案整体计划图表 23测试环境部署架构图表 24测试环境组件部置规划图表 25需要迁移情况现状图表 26配置数据源和目标数据源的连接信息图表 27迁移评估图表 28表结构迁移图表 29数据全量迁移图表 30增量迁移031012161719202021212627283132333435404142434444454747484849 图表 31数据同步方案图表 32DTS-DBBRIDGE支持的高可用场景测试图表 33数据库服务交割图表 34数据库迁移回退方案图表 35某知名保险公司数据库迁移技术方案图表 36某大型银行数据库迁移技术流程图表 37期货行业数据库迁移技术架构图表 38上海和合数据库迁移技术架构图表 39某央企金控公司数据库迁移持术架构图表 40亚财联异构数据库迁移流程图表 41中国燃气数据库迁移测试技术选择图表 42某大型化工制造企业数据库迁移技术方案图表 43春秋航空数据库迁移技术参数图表 44德邦快递微服务架构5253545557596163646669717375 PART 1数据库迁移价值 1. 为什么要进行数据库迁移 数字时代，企业之间的竞争主要是数字竞争。腾讯云数据库副总经理罗云认为，企业核心的竞争要素可归纳为三大要素：第一是企业与企业之间的数据要素竞争；第二是怎么用好这些数据；最顶层的要素是通过我们程序员的编码能力，完成企业的数字化。从传统架构迁移到云平台，是企业数字化转型的关键，而数据库迁移是其中重要的一环。 数据库迁移，不仅仅是将数据从一个地方移动到另一个地方；它还需要考虑业务定义、架构变更、应用改造、数据安全等诸多方面问题。在实际迁移工作中，需要结合企业的方方面面，做好合理的规划及实施。 既然数据库迁移是一个复杂的过程，那为什么还有很多企业实施数据库迁移呢？答案是：技术演进，业务牵引和政策驱动。 1.1 技术演进 当今世界正在迅速进入以新一代信息技术为主导的大发展时期。从开源到商业的变化，再到云化趋势明显、国产化发展趋势加剧，这些变化都提出了数据库迁移的诉求。近几年，我们逐渐看到一些重大的核心业务系统迁移到国产数据库上，国产数据库正在不断发展，提供了丰富的产品功能。 1.2 业务牵引 数字革命影响着我们的我们每个人，也同样影响着企业；人们在任何地方得到的一次最佳体验，就会成为他们以后对体验的最低期望；为向用户提供良好体验，企业对业务连续性和数据准确性有更为严苛的要求；放在竞争环境下，企业必须进行数字化转型以获取差异化竞争优势。 具体来说，当前企业正面临以下与数据相关的业务挑战。如果企业能够因势俱进，实施数据库迁移、管理，将能够有效化解这些业务挑战： 数据一致性：对某些业务（例如：金融业务）来讲，数据的强一致性（Consistency）尤为重要。如果出现数据丢失，就意味会给组织或用户带来直接的经济损失，甚至影响企业的商誉和信誉。因此，数据的一致性是数据库管理员（DBA）最需要考虑的问题之一。传统情况下，数据库产品常采用共享存储架构或主从高可用架构，可以较容易实现数据一致性。然而，随着企业数字化转型加速，越来越多的业务场景需要支持高并发、高性能、高可用，分布式架构下的数据一致性成为关键。 服务可用性：随着业务需求的不断提高，搭建一个数据库高可用环境已经成为很多企业迫切的需求。确保企业中计算资源的持续可用，是各个数据库管理员（DBA）的主要目标。如果应用程序的数据库和服务器不可用，会导致大量客诉或用户流失，甚至带来经济方面的损失，影响信誉和商誉。高可用性和减少停机时间是数据库系统的目标，某些业务甚至需要7*24无障碍运行。 扩展性：用户在使用之初很难预测未来业务增长的速度和总量，可能需要采购远超实际需求量的资源。这将导致资源的浪费，因为您可能只利用了10%的资源，而浪费了90%。如果您的业务发展远超预期，但出现难以扩展的问题，又需要采购更高配置的资源，不断的停机迁移。当然，支持横向扩展的分布式架构可以解决这个矛盾，但目前的技术门槛较高。 信息安全：在这个大数据时代，数据和数据库安全比以往任何时候都更加珍贵。一旦数据发生泄露，那么付出的代价将是非常惨痛的。由于数据泄露而导致的业务中断、客户信心丧失、法律成本、监管罚款，这些后果可能需要花费数百万甚至灾难性的。 数据库优化：随着业务的发展，数据库数量越来越多，如何保障所有数据库做到性能优异，业务不出问题，这对数据库管理员（DBA）提出诸多要求，在了解数据库运维知识的基础上，还要求DBA对SQL优化、性能检测、甚至业务逻辑和业务编程的综合能力有要求。随着业务的快速发展，这种重人工模式意味着DBA不可能“照顾”到所有数据库，能否将机器学习、深度学习这样的技术引入到数据库领域，帮助 DB