2024年openGauss金融应用关键能力研究报告

北京金融科技产业联盟2024年6月 版权声明 本报告版权属于北京金融科技产业联盟，并受法律保护。转载、编摘或利用其他方式使用本白皮书文字或观点的，应注明来源。违反上述声明者，将被追究相关法律责任。 编制委员会 主任 聂丽琴 编委会成员 黄本涛李斌林毅贤 编写组成员 阮桂亮娄贺展黄凯耀赵蒙高海涛刘杨箐何佳佳杨艳明贺承汉熊小军周斌窦欣张益李凯王薇李雨晴朱宏军叶晓光薛兴荣何振岩 统稿 张蕾 参编单位： 北京金融科技产业联盟兴业银行股份有限公司中国邮政储蓄银行股份有限公司华为技术有限公司天津南大通用数据技术股份有限公司超聚变数字技术有限公司 目录 一、发展情况及现状............................................................................................. 1 （一）研究背景............................................................................................... 1（二）金融行业数据库应用情况.............................................................. 1（三）数据库金融应用关键要求.............................................................. 2（四）openGauss 技术特点......................................................................... 3 二、安全研究........................................................................................................... 4 （一）安全架构............................................................................................... 5（二）全栈国密............................................................................................... 5（三）全密态数据库...................................................................................... 7 三、多模多态分布式研究................................................................................... 9 （一）多存储模式.......................................................................................... 9（二）多部署形态........................................................................................10（三）关键能力.............................................................................................14 四、内核可观测研究...........................................................................................23 （一）观测维度.............................................................................................24（二）观测接口.............................................................................................25 五、AI能力研究...................................................................................................28 （一）AI4DB：智能运维能力...................................................................28（二）DB4AI：数据库原生 AI 计算........................................................31 六、异构数据库工具研究.................................................................................34 （一）语法兼容.............................................................................................34（二）数据迁移.............................................................................................35 七、典型案例（邮储银行核心系统）..........................................................38 八、总结与展望....................................................................................................40 一、发展情况及现状 （一）研究背景 数字基础设施键核心技术的深化应用，推动了我国数据库产业的进一步发展，数据库产品不断涌现，开源软件生态建设也日趋完善。openGauss是一种基于开源技术的关系型数据库管理系统，它采用开源模式，支持大数据处理，具有较为完善的安全机制，并与Oracle数据库语法兼容。研究其关键能力，对金融行业已有的应用和数据迁移具有一定价值。截至2023年11月底，openGauss社区理事会包含了华为、超聚变、交通银行、邮储银行、招商银行、民生银行、兴业银行等多家技术和金融领域头部企业，在技术资源、技术氛围和场景多样等方面具备一定优势。本报告对照金融行业数据库需求对openGauss进行关键能力的分析，为金融业务创新中使用该技术提供支撑。 （二）金融行业数据库应用情况 集中式数据库在我国金融行业的使用时间很久，得到了广泛的应用。整体来说集中式数据库的应用比例高达89%，其中银行业应用比例接近80%，证券和保险行业的比例超过了90%。分布式数据库近年来在我国金融业不同领域也已逐步开展应用，现已涵盖不同类型的业务系统，总体占比达到7%，其中银行业超过了17%，证券业和保险业分别为3.74%和1.92%。 2023年，国内金融行业数据库加速发展，金融信息化研究所发布的《金融业数据库供应链安全发展报告(2022)》指 出，超过40%的金融机构在办公和一般系统中使用了国内数据库产品，银行业、证券业和保险业核心系统的应用进展如图1所示。 openGauss系数据库目前在金融行业有较多的实用案例。邮政储蓄银行通过鲲鹏、自主创新操作系统、openGauss打造的IT基础设施，支持邮政储蓄银行全国6.5亿用户，日均20亿的交易，全天联机平均耗时降低30%，系统负载峰值TPS提升319%。兴业银行基于openGauss开源数据库，对现有业务进行优化，已在报表系统、支付系统等系统投产使用，共计应用超过30套系统。四川银行构建的新一代反洗钱系统，单个处理任务涉及6条上亿级大表的多表关联查询，运行耗时从单次12个小时降低至1-1.5小时。另外，openGauss在保险行业和证券行业，如中华保险、上海期货交易所等企业单位，都得到了应用。 （三）数据库金融应用关键要求 数字化的浪潮给金融行业带来了业务创新，也使金融行业数据库面临着新挑战与新需求。 安全要求。金融行业的数据库在数字化时代面临着愈加严峻的数据安全挑战。金融行业是数据密集型、高安全标准和强监管的行业，数字化时代新技术的发展，也使数据库面临新的威胁手段，需要采用更加先进的技术手段保障数据安全。 高性能、高可用、可扩展与高稳定要求。金融行业传统中心化数据库架构在高频处理海量数据时面临着时延较高、扩展性能不足、一致性无法保证等问题。同时，金融行业核心业务涉及大量资金流动、客户信息、交易数据等敏感信息，高业务连续性以及数据监管合规要求也必须充分保证。此外，7*24小时服务不间断也对金融数据库提出高稳定性要求。 易运维要求。金融行业数据库需具备业务线上化、便捷化的能力，支持在线变更，包括在线DDL变更、在线配置变更、在线数据变更、在线扩容与缩容，以及在线版本升级等，同时也需降低服务运维复杂度并提供问题诊断。 智能化要求。金融应用需要处理海量的结构化和非结构化数据，涉及复杂的计算和分析。金融行业数据库对利用AI技术实现数据库的自动优化、自动索引，提高数据处理效率和质量，降低运维成本和风险等有强烈需求。 （四）openGauss技术特点 openGauss总体技术架构，如图2所示： openGauss金融版本在安全、高可靠、性能优化、智能运维方面具备如下能力： 安全：提供全密态计算、国密算法认证和加密、动态数据脱敏。 可靠：日志并行回放实现RTO<10s，Paxos架构，两地三中心流式容灾。 性能优化：Numa-Aware改造，指令集优化，对应鲲鹏系列tpmc进行了调优。 智能化：数据库管理系统（AI4DB）提供智能索引推荐、慢SQL诊断等，数据库内机器学习（DB4AI）支持主流机器学习场景 资源池化：存储池化、内存池化和计算池化三层池化架构，支持应用横向扩展 二、安全研究 本章根据金融行业数据库数据安全要求，从数据安全架 构、全栈国密、全密态数据三方面展开openGauss研究。 （一）安全架构 金融领域数据库的核心任务是帮助用户安全的存储和管理数据，保证复杂环境下数据不丢失、隐私不泄露、数据不被篡改以及服务不中断。openGauss数据库在安全审计、用户数据保护、用户识别和认证、安全管理、TSF自保护、TOE访问功能满足CC EAL4+安全认证的要求，其安全架构的主要模块和采用的技术包括： 安全感知框架：包括数据库防火墙的入侵防御、基于AI的攻击识别及智能防御。 安全认证：数据库服务端的强认证机制。 访问控制：具备权限管理模型、对象访问控制及校验机制。 数据脱敏与加密：对关键数据采用数据加密存储机制或数据静态脱敏及动态脱敏机制保护。 数据防篡改：采用多副本备份和区块链技术对数据进行一致性保护。 数据库审计：通过系统内部细粒度审计机制，记录用户操作行为。 第三方安全测试：引入第三方安全测试和认证，加速完善数据库安全能力的构建。 （二）全栈国密 《中华人民共和国密码法》要求关键信息基础设施应当使用商用密码进行保护，并开展商用密码应用安全性评估（密评）。中国人民银行发布《金融行业信息系统商用密码应用基本要求》及配套测评规范，推动相关测评机构开展金融信息系统密评工作。openGauss已通过国密局数据库国密认证，全栈