2024年OceanBase攻坚保险关键业务系统解决方案
李丹丹（嵩拓）OceanBase解决方案架构师 2024/11 保险行业数字化转型行至关键期 现在：不论大、中、小型保险机构的“必答题” 降本、增收、提效 保险行业关键业务系统需要怎样的数据库？ 立足当下 着眼未来 数据库是否能兜底？ 技术路线是否为主流？ 数据库的产品核心能力是否满足需求？ Contents目录 01产品特性，为何能承载保险关键业务系统02国产化替代，如何承载保险关键业务系统03保险关键业务系统OceanBase最佳实践 01 OceanBase产品特性为何能承载关键业务系统 保险业务系统数字化转型的技术趋势和挑战 数字化转型 渠道、平台、互联网业务 采用新技术来提高效率和客户体验，移动应用、在线报价和自助服务平台变得越来越普遍，使得客户可以更快捷便利地购买保险和处理索赔 建随着中国互联网平台化和移动支付的发展，越来越多的保险产品和服务通过网络平台以及三方平台销售 数据驱动 产品创新 大数据和分析工具能够帮助保险公司更精确地评估风险、定价产品、预测索赔趋势和发现欺诈行为，同时通过数据分析了解客户需求以便提供更加个性化的保险解决方案，满足不同客户的需求 为满足市场的新需求，将开发更多创新的保险产品，如针对共享经济、网络安全、新能源汽车和自动驾驶车辆的保险解决方案 坚持根自研——打造中国分布式数据库领军企业 2020年，北京奥星贝斯科技有限公司在北京注册，OceanBase开始独立商业化运作。目前，OceanBase已成为分布式数据库领导者，位居金融行业数据库市场第一，并从金融走向国计民生、走向海外，现已服务中国工商银行、交通银行、中国人寿、中国太保、中华保险、招商证券、山东移动、中国石化、海底捞、理想汽车、GCash等，助力金融、政务、运营商、零售、互联网等多个行业的2000+客户关键业务系统升级。 40000+数据库人才认证，助力数据库行业发展 NO.1 稳定支撑“双11”创6100万次/秒数据库处理峰值记录12年 两次刷新TPC-C测试世界纪录,成为榜上首个分布式关系型数据库 全球唯一同时打破TPC-C和TPC-H测试世界记录 400w+全自研分布式数据库，开放开源核心代码 2000+行业客户实现关键业务系统升级 550+数据库专利 15年核心研发团队分布式数据库行业经验 攻坚关键业务系统OceanBase助力保险数字化转型 OceanBase满足保险数字化转型需求的5大核心能力 简单留给用户，复杂留给数据库：原生分布式架构 数据一致性、高可用、平滑扩展 OceanBase使用普通服务器和数据中心网络组成的Shared-nothing集群部署，无需基于专用网络环境的SAN存储设备。集群原生自动管理计算资源和存储资源的分配和动态资源均衡。支持弹性水平或垂直 扩缩容，读写性能可线性扩展。所有服务节点都支持SQL计算和数据存储，每个节点自主管理所服务的分区数据。整个集群只有一种数据库服务进程，无外部服务依赖，运维管理简单。对外提供统一的数据库 在线弹性扩容/缩容：从容应对年初寿险开门红、开春农险高并发、双11车险大促、不定时短险高并发等多种业务场景 务，支持ACID事务和全局索引，对应用开发来说与单机无异。弹性扩缩容平滑扩展 数据高可靠服务高可用 超越6级国标灾难恢复能力同一中心数据库异常、跨数据中心中断时数据不丢失，业务不停机 容灾能力是关键业务系统的重要衡量指标，原生分布式在设计之初就假定硬件是不可靠的，每个模块的设计和实现都在细节处考虑容灾和主动防御。支持多个数据副本分散存储在不同地域，实现跨地域的容灾部署。在强一致事务的保护下，数据修改在多个地域保证成功提交，因此当灾难发生时，数据不会丢失，达到国家标准定义的最高级别容灾标准。 高可用性是系统某些组件故障时持续提供服务的能力。OceanBase分布式选举协议在故障发生时进行自主选举。少数派节点发生宕机时，支持快速无损自动切换，达到RTO<8秒的自动故障恢复指标。基于Paxos协议和多类型副本能力，OceanBase支持多种适应于不同场景的故障容灾方案。 一举两得，鱼&熊掌兼得：单机分布式一体化架构 适应保险机构各业务规模阶段 一般的分布式数据库在提供了水平扩展性的同时，往往牺牲了单机的性能。然而，在交互式的OLTP业务中，单个事务的处理时延增加往往是不可接受的。这导致在许多场景下，单机数据库替换为某些分布式数据库后，即使业务性能指标不增加，也需要许多台分布式数据库节点才能支撑原有业务规模，造成成本不降反升。同时，单机分布式一体化架构，单机部署余分布式部署形式可在线转换，让OceanBase能够适应各种规模的业务，一款数据库产品即可伴随企业成长的全生命周期。 单机部署性能与单机数据库相当 OceanBase的单机分布式一体化架构，在单机部署时，性能与单机数据库相当，甚至比某些流行的开源单机数据库的性能更好。 •当三机三副本部署时，相同的性能同时提供比传统主备库更好的高可用能力。•当节点机器规格提升时，提供了线性的垂直扩展性。•当每个Zone部署多节点时，提供了线性的水平扩展性。 分布式部署性能优于其他分布式数据库 在分布式部署时，性能优于其他分布式数据库。特别地，在以下三种情况时，OceanBase的查询和事务处理没有多机访问的开销： •当SQL语句只涉及单机内的分区时，数据读写无需通过网络。•当事务只涉及单机内的分区时，事务提交没有分布式提交协议的开销。•当事务只涉及单机内的分区时，基于多版本并发控制的一致性快照读取无需远程访问全局时间戳服务。 一套系统完成OLTP与OLAP业务混合负载，减少数据流动：HTAP混合事务与实时分析处理 企业级应用的业务场景通常可以分为两个类别：联机交易和实时分析，我们通常称为OLTP和OLAP的业务应用。大型企业往往会选择多款数据库产品分别支持OLTP和OLAP类的应用场景。这种组合式的解决方案需要数据在不同系统间进行流转，数据同步过程带来时间延迟和数据不一致的风险，多个不同的系统产生冗余数据，推高成本开销，往往会限制企业在激烈的市场竞争中快速调整业务。 一套系统支撑海量交易、海量分析 混合负载下的资源隔离 HTAP混合事务与实时分析处理是行业强诉求，OceanBase基于分布式架构做好交易处理场景的同时，能够完成分析、跑批等分析性场景，一套引擎支持OLAP + OLTP工作负载，同时实现两套系统功能，成本将大幅降低。 针对混合负载场景中不同的资源隔离需求，提供多种资源隔离方式。包括使用多个Zone进行物理隔离，使用CPU资源组隔离不同数据库连接。系统还会自动识别和隔离慢查询，避免它影响整体的交易响应时延。 OceanBase认为，真正的HTAP要求先有高性能的OLTP，然后在OLTP的基础上支持实时分析。OceanBase通过原生分布式技术提供高性能的OLTP能力，真正通过“一个系统”提供同时处理交易及实时分析，“一份数据”用于不同的工作负载，从根本上保持数据的一致性并最大程度降低数据冗余，帮助企业大幅降低总成本。 易用、开发透明、程序改造少：Oracle/MySQL平滑迁移 低成本搬迁应用与数据 行业经过信息化变革，各类业务系统运行在企业的各个角落，大量应用程序和解决方案基于传统数据库的能力设计。分布式数据库是面向未来的必然选择，但适配分布式数据库可能给企业应用迁移带来大量业务逻辑的修改甚至重构，亟需降低改造成本。 平滑迁移：OMA评估，OMS自动迁移 应用兼容：支持Oracle和MySQL 上下层兼容降低迁移风险。OceanBase兼容开源生态的MySQL和商业生态的Oracle，客户可以在一套集群中选择创建MySQL兼容的租户或Oracle兼容的租户。兼容范围包括SQL语法、命令字、对象、使用习惯，兼容支持存储过程、C语言接口、预编译器等。应用只需要很小的改动，甚至无需改动，便可迁移至OceanBase，为企业节约大量的人力和时间成本。 上下游适配融入原有架构。OceanBase上游适配对原数据库的对接解析能力，下游深入业务场景，融入企业离/在线数据系统架构和应用架构。应用和数据迁移是个费时费力又“危机四伏”的过程，为了帮助用户解决这个问题，OceanBase还提供： OMA:在迁移前以报告的形式呈现所有可能的问题和改造建议，帮助客户提前评估，及时发现解决。OMS:通过图形化方式实现数据自动迁移、可视化数据校验、迁移后支持反向同步，新系统可快速迁移回原来的系统，没有数据丢失也无需人工干预，极大的提高了迁移效率，保障迁移安全。 兼容复杂数据类型：JSON/GIS/XML/LOB/NCHAR/NVARCHAR等 兼容字符集和函数：GB18030-2022、Latin、30+系统函数 商业生态 开源生态 一套OceanBase集群同时支持MySQL和Oracle两种租户模式全面兼容数据类型、SQL语法以及使用习惯支持PL/SQL、OCI、Pro*C等高级兼容特性 迁移工具自动化完成 低成本改造 C++/Java/Python 全量数据迁移+增量实时同步 OceanBase集群 支持多场景评估，负载回放，提供智能化、系统化的评估分析，提供自动迁移、回迁能力。OMA事前评估、有的放矢；OMS迁移同步、回流保护。 整合能力强，用的多省的多：高级压缩技术 显著降低存储成本 数据压缩是降低海量数据存储空间占用的关键手段。OceanBase高压缩比的分布式存储引擎，摒弃了传统数据库的定长数据块存储，采用基于LSM-Tree的存储架构和自适应压缩技术，创造性的解决了传统数据库无法平衡“性能”和“压缩比”的难题，并基于数据日志分离方法的分布式存储技术，进一步降低存储成本，实现了高性能和低存储成本。基于LSM-Tree的存储引擎，利用编码压缩大大降低存储成本。 基于非对称读写架构的存储压缩技术 同一业务的数据存储量OceanBase仅为MySQL/Oracle数据库的1/4-1/3 显著提升业务系统稳定性、安全性有效降低存储成本70%-90% 通过读写块不对称的设计以应用高效的压缩算法。由于LSM-Tree的结构特性，采用读写分离设计和行级细粒度记录更新，变更数据保存在内存中，并批量写入到磁盘上。因此能达到内存数据库级写入性能和磁盘数据库的存储成本，并消除了传统B+Tree的磁盘随机写瓶颈和存储空间碎片化问题，使得数据写入性能比传统的实时更新数据块的方式更高，同时带来更大的数据压缩机会 某头部寿险：理赔核心491GB -> 68GB 某头部财险：客服系统12TB->3.5TB 基于数据编码的存储压缩技术 采用行列混合存储格式，磁盘数据块按列组织，自研一套对数据库进行行列混存编码的压缩方法（encoding），使用行列的字典、差值、前缀等编码算法，在通用压缩算法之前对数据做了编码压缩，从而带来更大的压缩率。 支撑OLTP业务在线高压缩比 LSM-Tree架构、动态修改写内存、静态数据无修改；批量写高压缩支持、强数据校验、对SSD友好无随机写。 基于数据日志分离的低成本存储技术 传统的Paxos协议中，系统需要三个副本（五副本），OceanBase数据库将用户数据和日志数据分离，比如日志数据基于Paxos协议使用三副本（五副本）存储，而用户数据本身可以使用两副本（三副本/四副本）进行存储。在保障相同可用性的前提下，数据日志分离可节省20%-40%的用户数据存储成本。 1套环境2种技术栈3种资源隔离：原生多租户架构 资源隔离、灵活管理，提高业务微服务架构的资源整合率，降低数据库使用成本 原生多租户架构，一个集群中同时运行多个数据库租户，每个租户可以视为一个独立的数据库服务。租户间数据和资源互相隔离，并且在集群内统一调度。支持在创建租户时选择不同的兼容模式，每个租户可单独配置数据副本数量、副本类型、存储位置及计算资源等。 适合微服务架
