携手共建：中国联通的OceanBase分布式数据库探索之路

中国联通的OceanBase分布式数据库探索之路 邱永刚 中国联通软件研究院OceanBase开发负责人 Contents目录 01分布式CUDB演进历程 介绍分布式CUDB建设背景、与OceanBase的相识、从初创到成熟阶段的发展历程 02分布式CUDB生态体系介绍 介绍分布式CUDB产品体系、工具体系、AI赋能等核心能力以及社区共建内容 03使用效果与未来展望 介绍分布式CUDB在联通内部的使用效果与产品的未来展望 01 分布式CUDB演进历程 建设背景 2022年9月底国资委下发文件，全面指导并要求国央企落实信息化系统的自研技术改造，要求央企、国企、地方国企全面落实自研技术，总体目标是在重点推进行业央、国企2027年底实现100%自研升级。 “打好关键核心技术攻坚战，加快攻克重要领域“卡脖子”技术“ 分布式CUDB演进历程 21年底，从XC政策、替代高危MySQL、降低商用依赖以及提升软研院软实力等几方面综合考虑，选定基于国内首家开源分布式OceanBase数据库产品打造自研产品分布式CUDB，重点聚焦数据库产品生态工具方面的补齐和人员能力的提升，为替代MySQL和新上应用提供全栈XC的数据库资源及服务能力。 02 分布式CUDB生态体系介绍 分布式CUDB产品体系 分布式CUDB基于OceanBase社区版进行优化改进，将产品的开通、使用、监控、运维全面接入联通云，实现产品资源的一点开通、一点交付、一点监控、一点运维和一点操作，为联通云租户提供易用而专业的一站式服务。 功能特性 数据库产品能力高效可靠 迁移更快10W/s迁移速度 服务生态体系全面好用 全栈XC适配安全可靠 产品能力：高效数据库迁移 开源迁移工具对数据迁移到OceanBase支持度相对有限，且缺乏直观易用的界面化多租户服务。为解决应用数据迁移难题，自研MySQL到OceanBase的迁移工具MOT（MySQL-OceanBaseTransfer Tool），支持全库表结构+表数据迁移，迁移速率可达10万条/s以上。 大表迁移效率MOT迁移速率为OMS的3.5倍，mysqldump的2.9倍，datax无法拆分主键并行迁移的13倍，与可拆分主键并发迁移最高性能相当。 表总数645张，OMS不兼容95张，MOT不兼容2张，MOT兼容性为OMS的近50倍。MOT相比OMS，可兼容无主键表、外键依赖、倒序索引、Mysql8.0等情况的数据迁移。 对645张表进行迁移测试，总数据量3亿，其中超过5000w数据表4张。OMS迁移时长3787s，迁移速率77189条/s；MOT迁移时长909s,迁移速率325981条/s，MOT迁移速率为OMS的4.2倍。 产品能力：异地容灾高可用能力 •基于nfs数据备份搭建主备集群，实现数据同步•通过nfs的数据备份可实现应用数据恢复至备份周期内的任一时间点 •通过SLB配置负载均衡，备集群负载权重配置为0，流量转发至主节点•集群故障时，SLB转发流量至备集群，应用无须任何修改 工具能力：全面好用的泛数据库自治服务CDAS 为屏蔽底层数据库类型差异，提高运维效能，建设泛数据库自治服务CDAS，提供数据库操作中心、运维中心等八大中心，覆盖全部入驻应用，让人人都是DBA。 工具能力：智能预测、诊断与自愈 行业领先的AI赋能数据库运维流程，基于异常检测、数据库监控指标、组件拓扑关系，完成数据库的故障趋势预测能力建设，故障自愈率提升至20%左右，故障数同比降低70%，提高了数据库运维的智能性，荣获XCOPS“2023年度智能运维十大标杆案例”。 产品能力展示 从深度使用，到社区共建：我们可以一起做些什么？ 社区共建-事务日志解析LogMiner 为进一步提升产品能力，支撑联通个性化业务需求，同时提升对OceanBase内核掌控能力，在数据库内核及外围工具层面展开社区共建，目前已在事务日志解析LogMiner、OceanBase敏捷诊断工具obdiag进行深入共建，实现多个核心功能研发，并修复多个数据库内核bug。 共建内容 面临问题 建设效果 •实现用户DML误操作精准恢复•增强OceanBase内核掌控能力•内核代码已提交社区，将在4.2.3版本正式发布 •DML误操作无法闪回：如何构建更强大的数据库安全体系？•obadmin解析拉取源文件复杂：如何提升数据库管理工具的易用性？•解析内容可读性差：如何优化数据库解析工具的信息展示？•解析工作量巨大：如何自动化数据库解析工作？ •研发LogMiner解析事务日志，直接生成SQL与反SQL语句•底层能力对接联通云体系，进行产品化改造 社区共建–OceanBase敏捷诊断工具obdiag 背景：应用或OceanBase集群出现问题，故障根因分析通常比较繁琐，可能涉及机器环境、配置参数、运行负载、不当使用等，需要应用与运维人员及相关专家反复沟通、描述问题、收集信息，费时费力，影响使用体验。 建设内容 •一键集群巡检：发现已存在或可能会导致集群出现异常问题的原因分析并提供运维建议•一键信息收集：实现数据库相关的诊断信息收集•一键诊断分析：通过运行日志等对集群进行一键诊断分析•一键根因分析：对访问断连、卡合并、锁等待等影响集群使用的场景进行一键分析定位，协助快速解决 建设思考 •场景完善：通过持续完善建设内容，覆盖更多场景，如访问异常缓慢、转储异常•分析细化：比如针对访问断连，可能涉及多方面原因。实际场景不断锤炼，分析细化，全方面定位、解决实际问题 03 使用效果与未来展望 分布式CUDB在中国联通的应用情况 分布式CUDB（OceanBase）目前已在中国联通超过xx个项目中成功应用，其中，xx系统已安全稳定运行超过600天。 未来展望 统一技术栈，扩大应用规模 收敛数据库组件，未来将实施替代600+套MySQL等高风险组件，实现新建系统“能用尽用”，核心系统稳中求进，逐步推广应用。 数据库运维智能化 基于大数据和AI能力，实现数据库的自感知、自修复、自优化、自运维、自安全。 社区共建，深入内核研究 通过社区共建，进一步完善产品能力，提升运维人员内核掌控能力与运维水平，为数据库稳定运行保驾护航。 谢谢 谢谢 谢谢