AI智能总结
我眼中的数据库这十年 林春 中国太保数智研究院首席数据库专家 数据库十年演变 战略防御(2014~2018) 2014~2018年金融行业数据库市场状态 互联网海量高并发场景孵育以OeeanBase为代表的国产分布式数据库 金融行业Oracle数据库占据主导地位 以MySQL为代表的国外开源数据库开始使用 金融行业2016年起开始使用MySQL数据库,银行业交在应对易瞬时高并发、多频次、大流量的新型金融业务特征时,基于生态原因,大都采用了MySQL数据库;部分银行核心系统主机下移,而MySQL单节点处理能力弱于Oracle,因此MySQL实例数大幅增加。 金融行业国外商业数据库占据超过90%,其中Oracle占据主导地位。核心系统也包括大机DB2、Informix。2014年IBM将Informix数据库出售给南大通用,给存量Informix核心系统维护、版本升级带来较高风险。 OceanBsae在2014年在支付宝使用,并开始应用于金融级业务场景。2014年双11大促,OceanBase开始承担交易库部分流量。2016年完成承载所有流量。 2018年大的变局下国产分布式数据库迎来政策契机 银监会发布了《关于应用安全可控信息技术加强银行业网络安全和信息化建设的指导意见》,要求优先应用安全可控信息技术,“在操作系统、数据库等领域要加大探索和尝试力度”。 2014年 中国人民银行印发的《金融科技(Fintech)发展规划(2019-2021年)》的发展目标提出“金融科技应用先进可控”,在强化金融科技合理应用这项重点任务中,明确提出“以重点突破带动全局,规范关键共性技术的选型、能力建设、应用场景和安全管控,探索新兴技术在金融领域安全应用,加快扭转关键核心技术和产品受制于人的局面” 2019年 10月10日,国务院印发《国家标准化发展纲要》(以下简称《发展纲要》),《发展纲要》明确强调“开展数据库等方面标攻关。”,将数据库首次纳入国家战略。 2021年 2018~2021年金融行业数据库市场态势尚未明朗 2021~2024年金融行业数据库市场状态 太保集团数据库数字化转型成果 降本显著 架构转型 •我司数字化转型,核心、重要系统多为OceanBase。实现从原来的集中式架构向分布式架构转变,具备良好的扩展性,在面对瞬时海量高并发互联网业务场景具备良好的弹性扩容能力,满足未来业务增长发展需求。•硬件故障自动切换时间在13秒内,全面提升业务连续性水平•数据库层面提供适配应用双活能力 •OceanBase兼容Oracle版本和兼容MySQL均具备非常好的存储压缩能力,平均压缩到原来1/3~1/4,服务器硬件扩容需求下降明显,大幅降低场地成本,备份、恢复性能提升5倍。•OceanBase对Oracle良好的兼容性,且应用侵入性弱,大幅降低应用改造、数据库迁移成本。•实现了兼容MySQL、兼容Oracle版本同集群部署、同OCP管控,实现多形态数据库逻辑集中、管控整合,大幅提升了资源利用率以及降低了运维成本。 技术创新 能力沉淀 •形成并不断迭代完善信信息应用创新数据库知识库,目前知识库沉淀问题已超过1000条;•形成完善的集群设计规范、数据库开发规范、数据库配置基线、应用开发框架及JDBC配置最佳实践等知识体系;•以P17核心攻坚、资金系统、增值税系统、产险P09、产险M6车险理赔、销管系统、寿险自然人、中意险为代表的复杂系统上线,培养了国产数据库研发及运维队伍。•推广国产数据库培训,全集团获得OceanBase数据库认证人数达到1125人。96分破纪录通过OBCE上机实验考试。 •工具创新:研发数据库数字化转型评估工具、索引优化助手并经营化,帮助全集团数据库数字化转型改造提效赋能及成本评估参考,降低数据库数字化转型应用改造成本约20%;•架构创新:企业信息视图45TB大库首创行业分布式数据库架构,解决保险大库存储瓶颈,并应用到产险销管、费控系统,目前运行稳定;寿险中意险分布式架构创新•方法创新:形成了大库改造评估方法论、重负载系统国产服务器CPU瓶颈优化方法论、重IO负载系统优化方法论等。 大量复杂系统上线后未出现风险事故,成为行业新标杆 中国太保P17客服系统核心攻坚成功 P17太保95500客服系统,是太保产、寿、健康、长江等所有子公司客服系统的整合,为公司6地8个电话中心超过2500坐席提供系统服务。与一般热线系统相比,P17涵盖了几乎太保所有子公司业务的服务入口功能,对接周边系统超过200个,是太保系统关联关系最为复杂的系统之一。 99.9%系统可用性要求全年 7*24h全天服务 作为太保服务品牌,系统需要提供7*24小时的全天服务,系统可用性要求全年99.9%以上,对停机时间有着严苛的控制,因此也是太保运维保障最高的核心系统之一。 太保P17客服系统技术攻坚点包括: 配套的DS、cognos等产品对于商业数据库深度依赖,适配改造复杂度很高 涉及到的上下游接口众多,本身又是7*24小时服务平台,对于数据库高并发、高可用特性要求极高。 存储过程数量庞大,总代码量近百万行,对于Oracle产品特性使用非常深入; P17系统国产数据库升级项目收益 倍 监管报送批量场景性能提升 存储成本节约 实时分析型数据加工处理能力提升 自投产上线以来,持续平稳运行,广泛服务于数千名柜面人员、百万业务人员和亿级外部客户。通过数据库产品的高级压缩技术,结合“数据库瘦身”,存储成本平均节省80%以上;经过架构和应用优化,分析型数据加工处理能力提升10倍,构建起全面的实时数据处理和服务能力;监管报送批量场景性能提升3倍;升级后的应用系统弹性扩缩容、处理速度、数据加工能力均实现大幅提升,为太平洋保险的数字化转型奠定了坚实的技术基础。 OceanBase在重负载情况下CPU性能优化方法论 OceanBase通过应用侧极致优化,形成可推广的优化范式,可以很大程度上弥补硬件CPU性能不足,可以很好承载重负载系统 核心系统数字化转型中的战略思索——改造降本方法论 OceanBase对金融行业数字化转型价值点及未来期待 业务系统数据库由原来的集中式架构变成了现在的分布式架构,实现良好的扩展性,在面对海量高并发秒杀或开门红场景具备良好的弹性扩容能力;满足未来业务增长发展需求;可以很好适配金融监管或业务的应用双活需求; 架构转型 OceanBase具备严苛金融复杂场景打磨过的良好兼容Oracle特性,对应用侵入性少,大幅降低应用改造成本;在不影响处理性能同时,兼容Oracle版本和兼容MySQL均具备非常好的存储压缩能力,平均压缩到原来1/3,大幅减少服务器硬件扩容需求,对于大机下移存在场地瓶颈、MySQL大库分库分表痛点的企业极具价值,备份恢复较Oracle约提升了5倍性能;实现了兼容MySQL、兼容Oracle版本同集群部署、同OCP管控,大幅提升了资源利用率以及降低了运维成本。 降本显著 稳定保障 OceanBase经过大量复杂金融场景打磨,稳定性有保障,硬件故障情况下,根据版本不同,自动切换时间在8~13秒之间,适合有很高业务连续性要求的互联网金融场景。 单机分布式一体化,提升资源利用率,日志治理,简化运维;适应云环境,实现存储和计算资源的独立扩展与按需付费,降低成本并提升资源效率;通过AI技术结合,提升数据库自治能力,降低运维复杂度,提升数据库的整体可用性和服务质量。 未来期待 OceanBase具备很强的数据库内核研发掌控能力,bug修复速度很快。从OceanBase的产品演进、生态体系建设、培训体系建设、帮助文档建设、工具建设可以看出,OceanBase是金融用户可以信赖、真正做技术的公司,能够走的很远。 技术兜底 谢谢 谢谢 谢谢