拥抱未来！数据库技术最新发展与创新趋势

章颖强(江疑)阿里云数据库资深技术专家 个人简介 章颖强，花名江疑。阿里云资深技术专家（P9），PolarDB事务引擎和新架构研发负责人。 q浙江大学本科、研究生，十年以上的数据库研发经验，AliSQL的创始研发之一。 q14-18年阿里双十一数据库内核负责人，主导集团数据库架构从MySQL演进到基于Paxos的X-DB架构。 q目前负责阿里云主营战略产品PolarDB的内核研发和架构演进，并担任ICDE等数据库顶级国际会议的程序委员。同时多个技术架构突破在SIGMOD/VLDB/ASPLOS等顶会发表。 Outlines Ø传统数据库架构和云的本质 Ø云原生数据库的最新发展 Ø新一代云原生数据库的趋势 传统数据库架构 云架构下的传统数据库 传统IT架构下的传统数据库 传统数据库架构 ü多种资源规格耦合 ü弹性困难 云的本质和云原生数据库 üCloud computingis theon-demandavailability ofcomputersystemresources, especially data storage (cloud storage) andcomputing power,without direct active management by the user. üCloud computing relies on sharing of resources to achieve coherenceandeconomies of scale. üFor system builders, it is imperative to purposelyoptimize system designand implementationexplicitly for the underlying cloud infrastructure toachievethe best elasticity, cost, and efficiency. These purpose-built cloudsystems are called cloud-native systems. Ref: 云原生数据库——StorageDisaggregation üOn-demandstorageüFastscaleupforcomputenodeüFastscaleoutforreadreplica Outlines Ø传统数据库架构和云的本质 Ø云原生数据库的最新发展 Ø新一代云原生数据库的趋势 云原生数据库架构——计算存储分离架构 ØAmazonAurora(2014)ØAlibabaPolarDB(2017)ØAzure Hyperscale(2018)ØTencentCynosDB(2019)ØHuaweiTaurusDB(2020) 阿里云数据库的历史和发展 Gartner2022全球数据库魔力象限 PolarDB——阿里自研云原生数据库 ü17年国内首个云原生数据库ü支持1写16读，最大100TB存储ü软硬件一体化设计ü高性能一致性协议 阿里云数据库的历史和发展 PolarDB在云数据库中的位置 PolarDB的创新点——PolarFS üOS-bypass and zero-copy-byRDMA PolarFS: An Ultra-low Latency and Failure Resilient Distributed File Systemfor Shared Storage Cloud Database(VLDB2018) PolarDB的创新点——ParallelRaft üOut-of-Order Ack/Commit/ApplyüFastCatchup PolarFS: An Ultra-low Latency and Failure Resilient Distributed File Systemfor Shared Storage Cloud Database(VLDB2018) PolarDB的创新点——基于共享内存的一写多读 3.Server Cache同步 2.事务MVCC隔离 1.B+树正确性 PolarDB的创新点——库表级多写 库表级多写 l支持不同库/表在不同RW节点并发写入l秒级横向扩展，极大提升整体的并发读写能力l多主互备，秒级切换，无需热备，成本降低一半l支持全局只读节点，高效执行汇聚库请求 PolarDB的创新点——无感Serverless 跨机ScaleUp 跨机ScaleOut 本地ScaleUp PolarDB的创新点——IMCI 更大数据量、更高性能 •大容量、更低成本的CXL内存可提供更多的数据缓存空间，进一步减少磁盘I/O•列存节点支持多机并行执行，共享同一份数据，横向伸缩能力再度加强 TPCH-1TB单节点性能再提升10倍多机执行性能实现近线性加速比 Outlines Ø传统数据库架构和云的本质 Ø云原生数据库的最新发展 Ø新一代云原生数据库的趋势 云原生数据库的发展方向 static scale elastic 云原生数据库的发展方向—Memory Disaggregation üThe End of Slow Networks: It's Time for a Redesign,VLDB'16. üAccelerating Relational Databases by Leveraging Remote Memory and RDMA,SIGMOD'16üEfficientMemoryDisaggregation withInfiniswap,NSDI'17üLegoOS: A Disseminated, Distributed OS for Hardware Resource Disaggregation,OSDI'18BestPaperüUnderstanding the Effect of Data Center ResourceDisaggregation on Production DBMSs,VLDB'20 新一代云原生数据库架构——PolarDB三层解耦 新一代云原生数据库架构——行级多写 行级并发写入 •支持多个master节点的行级并发写入，突破单点写入瓶颈 PolarFusion实现事务、锁、缓存信息全局协调 •利用全局事务ID和提交时间戳确定事务提交序和可见性•利用多级别不同粒度的全局锁实现高效的跨节点的并发控制•通过Page锁实现跨节点缓存一致性 高度融合RDMA •实现高速的跨节点的信息协调 新一代云原生数据库架构——Polar4AI •大模型：阿里通义千问等大模型开箱即用•MLOps：模型训练，模型推理，模型部署等操作•NL2SQL：自然语言驱动的数据查询•IDMapping：便捷的实体对齐•AIGC：模型产生数据与数据库数据互操作 写在最后——工业和学术的GAP What are we doing with our lives?nobody cares about our concurrencycontrol research. ——Pavlo, AndySIGMOD2017Keynote