数据库的Serverless技术演进和核心技术突破详解_章颖强

个人简介 章 颖 强 阿 里 云 数 据 库 资 深 技 术 专 家 -阿里云云原生数据库PolarDBMySQL/PostgreSQL研发总监-10+年数据库内核研发经验，曾担任阿里巴巴双十一数据库负责人-PolarDB事务引擎等多个团队负责人，负责事务系统，Serverless，多主多写等内核研发和架构演进-多项技术创新发表在SIGMOD/VLDB/ICDE等国际数据库顶会，并多次担任ICDE等数据库顶级国际会议的程序委员-2024中国计算机学会科技科技进步一等奖主要完成人（第三） 数据库Serverless技术详解 目录 Serverless数据库的未来演进 全局架构Ser verless化中的数据库 此处添加详细文本描述，建议与标题相关并符合整体语言风格此处添加详细文本此处添加详细文本描述 通用Serverless技术的发展历史 应用架构的全面Serverless化 数据库Serverless化的价值 qServerless解决的问题 数据库Serverless化的挑战 数据库Serverless的挑战：维护数据库状态的一致性 维持数据库和应用的活跃连接01 保证事务的ACID属性02 维护缓存的一致性03 维护各类变量的一致性04 数据库Ser verless技术详解 此处添加详细文本描述，建议与标题相关并符合整体语言风格此处添加详细文本此处添加详细文本描述 数据库的Serverless技术分解 缓存池的弹性 主从统一的endpoint 缓存池大小是影响数据库性能的核心因素。缓存池大小需要支持动态扩缩容。 横向读扩展 跨节点迁移 横向读扩展需要从节点能够实现强一致读，从而可以通过从节点的横向扩展提升读能力。 物理机资源不足时，要跨节点迁移实例，需要保证对上层应用无感。 数据库的弹性和扩展能力是根本，Serverless是表现手段 缓冲区大小的弹性 动态调整缓冲区大小根据负载特性手动或自动决策 从节点强一致读 利用从节点处理读请求，提升资源利用率横向读扩展提升总体性能提供强一致的统一的endpoint，简化运维 无感跨机迁移 提供高可用性，主节点宕机可无感切换到从节点无感主动运维，升降级或者变配时，可以对应用无感 核心技术一：全局一致性横向读扩展技术–背景 横向Serverless的刚需 §单节点的向上弹升规格有限§数据库不一致的只读节点无法替主节点抗流量 数据库业界难以突破性能无损的全局一致性 §传统日志复制和共享存储只读均存在延迟§读等待/写等待方案SQL延迟增加过大 p背景：主流云原生数据库不支持读全局一致性 核心技术一：全局一致性横向读扩展技术–详解 VLDB2023: PolarDB-SCC: A Cloud-Native DatabaseEnsuring Low Latency for Strongly Consistent Reads p核心思路 ü重新设计事务系统和事务内存信息组织方式ü充分发挥节点间内存直接访问架构，做多维度信息同步 p核心设计 üLinearLamportTimestampüHierarchicalModicationTrackerüRDMAbasedAllSyncSystem 核心技术一：全局一致性横向读扩展技术–效果和影响 核心技术二：跨机无感在线迁移技术——背景 从单机Serverless到IDCServerless §资源池从单机维度扩大到整个IDC§确保100%能弹升到上限 无感变配和无感高可用的突破 核心技术二：跨机无感在线迁移技术 ICDE2024BestPaper:Towards a Shared-storage-based ServerlessDatabase Achieving Seamless Scale-up and Read Scale-out p核心思路 ü内存态事务，缓存，日志直接同步/双写ü通过Proxy跨机桥接事务，保持连接 核心技术二：跨机无感在线迁移技术 效果 中国企业第一次获得国际数据库顶会ICDE工业赛道最佳论文 Serverless数据库整体架构 Serverless数据库的应用现状 此处添加详细文本描述，建议与标题相关并符合整体语言风格此处添加详细文本此处添加详细文本描述 Serverless数据库未来已来 Serverless数据库实战案例：容灾降本 某金融行业客户 •提升数据库系统的可用性，计划在目前单可用区基础上，实施跨可用区或者跨地域部署，以增强系统稳定性和容灾能力；•拓展海外客户，有出海需求，计划能利用GDN进行跨国部署，既提供就近服务，又作为容灾系统的一部分；•如果资源对等部署，IT费用会成倍上涨，寻求高性价比的容灾解决方案； 行业特点解决方案和收益 •跨可用区的Standby节点和GDN的子集群全部采用Serverless形态，可以依据负载动态调整规格，在承担较少流量时，以低规格运行；当发生容灾切换后，快速扩容。秒级粒度按量计费。•容灾费用成本降低50%以上，运维成本降低30%以上。 Serverless数据库实战案例：突发流量 某社交APP（社交APP） •对客业务（直播、音视频、聊天）：每月多次举办不定期的线上活动，流量突增，需DBA提前变配和后期回调，运维工作量大；慢SQL导致资源被挤占，影响正常业务；•内部业务（财务、审核、客服）：随机出现多人并发审核，批量拉取数据，审核后做回传，高并发下数据库资源不足时速度非常慢（通常1分钟）； 行业特点解决方案和收益 •对客业务：16C或32C固定规格叠加Serverless。资源调整工作从人工优化为Serverless，运维工作量降低80%，变配时长从10分钟减少到5秒；•内部业务：2C或4C固定规格叠加Serverless。用户体验更佳，后台数据访问从1分钟降低为3s内； Serverless数据库实战案例：周期流量 某头部地产服务公司（地产行业，物业服务业务） •每天的周期性需求：业务存在明显的潮汐现象，负载随时间变化差异巨大，80%的服务业务压力集中在白天，晚上只有结算任务；•每月的周期性需求：月底结算资源需求量较平时增加50%；•读多写少，原实例由于只读延迟，无法做到即写即查； 行业特点解决方案和收益 •原固定规格实例全部替换成Serverless，配置纵向扩容和横向扩容；•自动弹性+计划任务：白天：1PCU~16PCU，1~2RO；夜晚：4PCU，1 RO；•借助PolarDBServerless提供的高性能强一致功能，无需担心RO的读延迟问题；•计算资源节约80%，大幅减少告警量和运维成本； G O P S全 球 运 维 大 会 暨研 运 数 智 化 技 术 峰 会2 0 2 4·上 海站 Serverless数据库的未来演进 此处添加详细文本描述，建议与标题相关并符合整体语言风格此处添加详细文本此处添加详细文本描述 Serverless数据库的技术展望 Serverless+AI 面向周期性波动的业务场景，结合AI的相关技术进行智能预测，Serverless弹性甚至可以不再依赖实时负载反馈，实现更好的用户体验。 Serverless+多主架构 当前Serverless数据库借助高性能全局一致性，实现了读请求横向弹性。将多主架构和Serverless技术结合，既可以完成更平滑的无感变配，也能实现写请求的横向弹性，进一步提升扩展性。 IDCasaDatabase 在实现CPU、内存、存储三层解耦架构后，数据库可以打破传统架构中CPU和内存必须按照固定比例配置的情况，将整个IDC当做资源池，实现更低的应用成本和更高的资源使用率。 G O P S全 球 运 维 大 会 暨研 运 数 智 化 技 术 峰 会2 0 2 4·上 海站 业务展望 T h a n k s 荣誉出品