AI智能总结
数据库理念变革、AI4DB、DB4AI、可观测性 研究框架 u中国云原生数据库行业综述 •云原生数据库定义•云原生数据库发展阶段•云原生数据库必要性分析 u中国云原生数据库技术发展趋势 •促进大数据技术深度融合•数据库与人工智能协同•资源使用持续优化•优化可观测性能力 u中国云原生数据库市场分析 •市场落地的机遇•需求驱动要素•云原生数据库需求场景与覆盖厂商 u中国云原生数据库行业竞争分析 •中国云原生数据库竞争力评分维度•中国云原生数据库综合竞争表现•中国云原生数据库标杆企业 注:此研究框架代表了完整版本中的全部内容,摘要版本仅选取了其中的部分以便于概览阅读 1.1云原生数据库定义 关键发现 云原生数据库的本质是云原生理念带来的数据库架构变革与云服务水平进化,通过紧密贴合云计算基础设施进行数据库架构设计,能够更充分地发挥出云计算的优势,使数据库性能与功能范围扩大 q云原生数据库的核心是云原生理念带来的数据库架构变革与服务效能提升 本报告所定义的云原生数据库:基于云计算基础设施特点进行架构设计,充分利用云上计算、存储、网络等资源,从而实现性能增强与功能范围扩大的数据库,具有高可扩展性、高弹性、高安全、可观测性、可高度自动化的特性。云原生数据库主要代表了数据库部署模式及架构向云环境的适应与演进,与数据模型无关,SQL与NoSQL数据库均可发展成为云原生数据库。 沙利文认为,云原生数据库的核心为云原生理念带来的数据库架构变革与服务效能提升,具体而言: •数据库架构变革:云原生数据库采用存算分离架构,设计紧贴云计算基础设施特点。在这设计理念下,云上计算与存储资源调用的效率与利用率得到提高,并能降低网络损耗,从而优化数据传输性能与存储能力,实现数据库的性能增强。同时,通过打破传统数据库架构在云环境下的限制,云原生数据库对云上资源的把控度更高,能够实现资源的按需使用、弹性伸缩,显著提高用户业务流量变化的敏捷度,并降低数据库服务的使用成本。 •服务效能提升:云原生数据库与云计算环境下的技术与工具深度整合,包括AI、可观测性工具等。通过应用这些技术与工具,数据库厂商能够为用户提供弹性负载均衡、智能监控、智能运维等服务,从而拓宽数据库服务的功能边界。同时,数据库厂商借助这些工具,可以构建数据库DevOps团队,实现数据库能力快速迭代与功能演进。 基于这些变化,云原生数据库能够更为全面地满足用户降本增效的需求。 1.2云原生数据库发展阶段 关键发现 云上部署数据库由云托管演进至云原生,实际上是“以资源为中心”转变为“以应用为中心”。随着技术与工具不断完善,用户将能更容易的实施数据库迁移与理解迁移效益,从而提高对云原生数据库的了解与接受度,将有效推动云原生数据库市场发展 q云上部署数据库经历了云托管、云服务、云原生三大阶段 数据库在云上部署的演进经过了三大阶段:云托管、云服务、云原生,需求变化、技术革新、架构创新为三大阶段发展的核心影响因素。 最初,云托管主要解决的问题是IDC机房部署带来的物理设备维护压力,用户将传统数据库软件部署到云主机上,数据库管理工作仍由用户负责。随着云服务供应商技术能力提升、团队更为完善,供应商兼顾起数据库运维的工作,对数据库性能与功能进行优化,用户仅需通过接口访问的方式便能使用上性能较高的数据库,减轻用户数据库运维的成本与压力,使用户更好地从云计算服务中受惠。 在前两个阶段,厂商主要完成了减轻用户对于资源运维以及数据库运维压力与利用共享资源池降低使用成本的任务,并一定程度上优化数据库性能与功能,但由于传统架构的限制,数据库仍未能充分发挥出结合云计算所能产生的高可扩展性、高弹性、高可用的优势。 在数据要素地位显著提升的趋势下,企业数据容量持续增长,高并发的业务需求提升,同时云计算也成为了承载工作流的主要环境。面对这些场景时,云服务阶段的云数据库能力存在着扩展效率低、资源利用率低等问题,难以满足需求变化。因此,数据库通过技术革新、架构创新完全与云计算系统融合,以步入云原生阶段成为了在云上部署发展的必然。 q云原生数据库进入快速发展阶段,Serveless部署模式是核心方向 从第一款云原生数据库问世至今的十年间,云计算与云原生技术得到了不断的完善,支撑着云原生数据库迭代更新与功能完善,性能显著提高,同时业内云原生数据库产品矩阵也变得更为丰富,如多种数据模型的数据库、深度集成的智能运维工具,能够以更灵活与全面地满足不同场景的需求。云原生数据库已完成技术沉淀与商用验证,开始步入快速发展阶段。 在快速发展阶段,云原生数据库发展的关键在于能够更为充分地发挥出云原生带来的弹性资源按需分配与精准计费、数据库易于管理的价值,更高效与灵活地应对企业应用需求,因此能够进行更细粒度的资源部署、免于用户对数据库底层设施运维的Serverless部署模式成为当前阶段发展的核心方向。 据中国信息通信研究院统计,考虑应用云原生数据库的企业占调查样本的91%,反映出云原生数据库的价值已得到用户的感知。 来源:中国信息通信研究院,沙利文,头豹研究院据头豹研究院访谈调研,当前企业对于云原生理念接受度已得到显著提高,但由于传统架构的数据库的部署和应用方式已使用多年,且更贴合用户认知与使用习惯,部分企业在是否改为使用云原生数据库时存在犹豫。实际上,转换至云原生数据库对现有应用的改变并不大,这部分企业的犹豫主要源于对云原生数据库的了解程度不足。随着Serverless数据库技术越来越成熟,数据库厂商的生态工具能力(如FinOps、数据库迁移工具)越来越完善,将有利于促进企业以更灵活便捷地进行测试使用,有效感知云原生数据库,并逐步积累案例形成宣传作用,进而提高市场整体对云原生数据库认知。 1.3云原生数据库的必要性 关键发现 云原生数据库引领数据库使用理念向“以数据为中心”转变。数据库厂商通过提供更全面的数据库服务,降低企业对数据库运维管理的关注,更专注于数据价值的提炼和业务逻辑的实现。这种方式更符合数据驱动业务、企业上云趋势下的企业对于数据库使用需求 q云原生数据库服务将数据库的使用理念转变至“以数据为中心” 传统数据库的使用理念为“以数据库为中心”,主要集中在对数据库的管理和维护,如硬件资源的配置、数据存储的优化和查询性能的调整。在面对不同业务负载时,用户需要管理维护多个相同或不相同数据模型的数据库,并处理数据库间的数据交互工作。 云原生数据库以云计算服务的形式交付,其核心理念转变为“以数据为中心”。在运维管理层面,凭借云原生数据库与云资源的充分结合,以及与配套工具的深度集成,数据可实现无缝访问、高效处理和智能分析。在这种模式下,云原生数据库能够提供动态资源管理、可扩展性和故障快速恢复能力。同时,数据库厂商可打通不同数据模型的数据库服务间的数据链路,根据不同业务负载可匹配数据库服务,数据库间数据自动同步。因此,企业可以更加专注于数据价值的提炼和业务逻辑的实现。 此外,云原生数据库可以提供全球跨地域数据同步,应用可以低时延就近访问数据库。这能够帮助企业实现全国乃至全球的业务拓展,并为企业提供全球跨地域的数据库容灾能力。 q云原生数据库将是支撑企业数据驱动业务战略发展的核心基础 随着精细化运营的深入发展,企业内多业务间的数据互联互通与复杂性日益加深。面对多样化和不同量级的数据时,企业需要能够保持性能稳定和低时延的数据库解决方案。同时,在各国持续推进云计算战略的趋势下,企业业务上云将不断深化。目前,中国已推出一系列政策推动云计算技术推广与深度应用,为云上服务需求建立基础。在这环境下,云原生数据库通过提供完善的服务,减轻单一或多个数据库使用的复杂性,并能利用资源弹性帮助企业应对业务的快速变化,为企业推动数据驱动业务战略发展提供核心基础。 2.2数据库与人工智能协同 关键发现 AI与数据库的深度结合包括AI4DB与DB4AI两个方向。AI4DB能够显著提高数据库运维管理、性能优化的效能,具有巨大的应用潜力。同时,DB4AI能够应对AI落地的挑战,实现AI效率提高与成本降低。这两种方式相辅相成,共同推动AI与数据库技术的进步与创新 qAI4DB的应用具有巨大潜力,数据库厂商应及早开始布局实现技术沉淀与能力提升 AI4DB即利用AI优化数据库,以更精准、更高效、更敏捷的能力进行数据库的运维与管理,提高处理复杂工作的效率,减少日常工作负担,释放人脑带宽处理更重要的事情。AI4DB的实现可以分为以下四个发展阶段: •建议阶段:这个阶段主要通过插件式的智能工具,聚焦减少消耗人脑带宽的工作,如负载管理优化、数据库性能监控预警、数据库审计、SQL优化。目前,大部分数据库厂商已经落地了智能运维工具实现这些功能。同时基于AIGC,部分工具已支持NPL2SQL功能,简化SQL编写与优化的工作难度。 •辅助阶段:AI的辅助可以进一步集成到数据库的组件中,如AI调优模型与查询优化器结合,通过查询调优用户级参数,自动适应不同的查询特性。这个阶段专注于增强数据库各项特定能力。部分厂商已开始利用AIGC与模型交流,不断演进判断逻辑,启发出新的根因分析定位思路。 •增强阶段:在上一阶段的基础上,降低人工对于AI模型优化的干预需求,利用深度强化学习能力,适应不同环境提供动态调优、动态最优索引方案推荐等能力。这一阶段的能力相当于数据库内置AI服务,利用AI算法进行自我增强,可以进一步降低对于DBA经验的依赖,并能得出经验难以推断出的优化方式。 •自建阶段:基于深厚的数据与算法积累,AI形成自主设计、组装、评估、监控、运维数据库的能力。 数据库是一个复杂的系统,同时也是承载着众多业务运行的关键数据底座。在这背景下,AI4DB的应用具有巨大潜力,但是在实用性与可靠性等方面面临着许多挑战。不过,AI能力的增强依赖于持续的数据积累,数据库厂商应开始布局构建和应用相关能力,以实现AI4DB技术沉淀与能力提升。AI4DB演进路径 q建立DB4AI的能力能够应对AI落地的挑战,实现效率提高与成本降低 沙利文认为,当前AI落地其中两大挑战是硬件要求提高与效率问题。一方面,随着模型参数越来越多,硬件要求与成本随之提升。另一方面,数据与模型的交互较为复杂,在业务需求持续变化、算法效果要求持续提升、数据量持续膨胀的趋势下,这个复杂度只会越来越高。基于传统的研发流程会导致模型落地效率低,其中包括数据流动效率以及工作流程效率。 DB4AI指根据AI模型训练的需求,优化数据库对数据存储、管理、操作的效能,从而使训练过程更为高效。具体可实现的能力包括: •简化建模:通过数据库内部对数据、特征、AI模型进行统一管理,并提供统一SQL接口,用户可以利用SQL完成模型的开发、训练、推理,无需使用多种语言(如Python、R语言)进行AI的开发;•辅助计算:在数据库内部增加AI算子和支持向量计算功能,利用数据库计算能力完成模型的训练及推测任务,减轻AI训练的算力负担;•模型重用:通过物化视图、查询表等方式将AI模型持久化,方便用户管理与复用模型 利用上述功能,数据与AI深度结合可以避免各模型数据管理割裂,降低数据管理复杂度与数据延迟。数据流动效率能够得到提高,工作流程也得以简化。同时,通过对数据、特征、模型统一管理,以及AI训练及推测任务功能支撑,AI相关硬件的需求也能够有所降低,进而降低硬件成本。 2.3资源使用持续优化 关键发现 为最大程度地发挥出云原生数据库提升资源利用率以降低成本的价值,用户面临着资源配置优化与成本管理困难两大挑战。数据库厂商应提供完善的资源部署策略、持续优化Serverless性能,并提供FinOps工具,帮助用户优化资源使用的效能 q提供高效部署策略与FinOps工具将是帮助用户优化资源使用效能的关键 提升资源利用率以节约成本是云原生数据库核心价值,但要充分发挥出这一价值仍面临着两大挑战:资源配置优化与成本管理困难。 •资源配置的挑战主要源于配置手段存在一定复杂性,以及业务负载