移动云（王宝晗）：移动云数据库的云原生进阶之路

王宝晗｜中国移动云能力中心 目录Contents 探讨云原生数据库01 移动云的云原生数据库实践02 下一代算网数据库展望03 移动云和数据库团队简介 移动云数据库团队十年前正式诞生，以实现数据库核心技术自主可控为目标，目前已构建完整产品和市场体系，并实现大规模商用。 移动云立足云服务商第一阵营，入选国资委首批“创建世界一流专业领军示范企业”名单，开启“成为一流云服务商”新征程 第一部分探讨云原生数据库 云计算引领数据库产业变革 据IDC统计，中国关系型数据库公有云部署规模已超本地部署方式，且增速领先 Gartner云数据库领导者象限：云服务厂商+转型云服务的数据库厂商 云计算席卷数据库市场云技术正加速数据库产业革新 云原生数据库应“云”而生 为了充分享受云计算的价值，解决数据库性能和成本问题，数据库架构不断与云架构融合随着“云原生”理念的逐步普及，云原生数据库成为云厂商和各类数据库厂商的重要赛道 云原生数据库是专门面向云基础设施环境设计的数据库产品，架构上采用存算分离，并且能跟实现资源的按需使用、弹性伸缩 云原生数据库可实现存储和计算资源的弹性扩缩容，包括水平和垂直扩展，支持按需付费，管理和运维的自动化，降低用户的使用成本 云原生数据库是基于容器和K8s等云原生技术构建的数据库服务，使得应用开发者充分享受云计算带来的分布式、可扩展、高弹性等技术红利 L1容器化部署 容器化部署：K8s已成为云原生数据库的基础设施 容器化部署和K8s编排已成为云原生的事实标准 挑战技术复杂度和成熟度 优势符合云原生理念 1、灵活性和可移植性，使得数据库的部署和维护变得更加简单和可靠2、资源可扩展性，每个容器都在运行时进行环境和资源分配3、更友好的调度策略，容器化后的资源粒度更小，弹性、低成本 1、带来系统的复杂性以及额外性能开销2、数据持久化，以及数据迁移，对有状态服务并不友好3、SDN容器网络方案需要满足VPC要求，网络隔离等 存算分离：云原生数据库的主要架构 存算分离数据库 以更细的资源弹性的粒度，突破单机瓶颈 Serverless：云原生数据库的供给新模式 Serverless数据库弹得细、弹得准、弹得及时，客户降本增效 •资源无感：对资源隐藏封装，不再资源绑定，真正按需付费•极致弹性：秒级负载感知，细粒度弹性 要解决的技术难点 •更深层解耦：多元解耦，重新定义“规格”（计算-内存-缓存-日志-存储）•服务在线：连接保持，无损事务续传•动态弹性：亚秒级实时监控，智能负载感知 算力网络：云原生数据库的新方向 Ø云计算引领数据库产业发展，云原生数据库已经成为云厂商和数据库厂商的重要赛道Ø根据云原生发展程度不同，云原生数据库呈现出四级进化体系，算力网络将成为新的演进方向 第二部分移动云的云原生数据库实践 数据库行业的两类厂商 Ø积极构建自研云原生数据库品牌和系列产品，同时基于开源或商业数据库提供全场景数据库服务 Ø主要专注于单个产品研发及其生态的构建和推广，积极拥抱云计算，自建云服务或与云厂商合作 云厂商的数据库服务往往是由自研品牌+开源定制+商业合作组成的全场景服务，以满足各类数据库需求 移动云数据库产品矩阵 Ø移动云基于K8s构建云原生数据库底座，全线产品达云原生L1级 Ø自研海山数据库系列，采用存算分离架构，并全面向Serverless演进 Ø在中国移动算力网络战略下，大力探索算力网络数据库，积极推进相关技术以及行业标准制定 云原生数据库整体技术架构 共性能力统一建设 统一云原生数据库平台 Ø通过标准化硬件，从BIOS、OS、网络到内核的端到端优化，性能较开源自建全面提升 Ø自研容器网络方案，具备VPC的包括安全组、公网、终端节点、云互联等完整的云网络功能，主机到数据库间网络时延压降90%Ø实现有状态服务统一编排，各种数据库类型及主备、集群等各种架构统一纳管，数据库上云开发工作量下降50% 目标：实现全部移动云数据库统一纳管 更多分享请关注kubecon香港站移动云主题演讲 海山数据库PostgreSQL版：持续深化云原生 联邦缓存池技术 将计算节点内存池化，将数据分区，每个计算节点根据分区策略缓存部分数据 提高缓存命中率，将磁盘读取次数减少一倍以上整体性能较常规缓存架构提升44% 海山数据库PostgreSQL版：“混动”架构兼容存算一体 海山数据库数仓版：Serverless化的数据导入能力 Ø数据同步服务Serverless化，池化同步服务资源，根据全量/增量阶段、负载情况动态分配同步服务资源及并行任务数 智能分桶 Ø根据目标端实例规格，自适应实现库表分桶策略，最大化利用集群并行处理性能，简化用户配置。 智能流控 Ø根据源端流量情况动态调整数据flush、checkpoint周期，有效应对突发流量峰值场景 基于Serverless化能力提升全量同步达20w/s，增量同步达5w/s，并降低整体资源成本约30% 广聚产业生态，全栈自主可控 第三部分下一代算网数据库展望 算力网络数据库理念 无需关注地域 Ø全域Regionless&ServerlessØ数据访问与处理就近接入Ø多云、多云数据算力统一纳管 无需关注资源 Ø依托算网大脑实现全网资源弹性供给，按需取用Ø全域数据流通与治理，数据交换与交易 无需关注业务负载 Ø无需考虑数据库负载和选型等，提交数据任务，交由算力网络数据库一个入口统一处理ØAI使能，自然语言交互与智能数据分析 算力网络数据库推进计划 THANKS 感谢聆听 自主·创新·引领