AI推理、机器学习编排与代理型AI工具及平台研究报告

AI推理、ML编排以及具智能体的AI工具和平台 我能分享这个报告的数据吗？ 2. 责任限制 1. 许可证授予权 SlashDataTM, 相信本出版物中包含的声明基于 本报告根据知识共享署名-禁止演绎 许可证 4.0 (国际)简单来说，在本协议的条款和条件下许可，您可以： 我们认为可靠的信息，但我们不保证其准确性或完整性，也不应被视为如此。所表达的观点仅限于本出版物中出现的日期，且所包含的信息，包括其中的观点，均可能未经通知而变更。任何第三方出于任何目的使用本出版物均不应，也不应被视为免除该第三方在核实出版物方面履行尽职调查的责任内容。SlashDataTM否认一切默示担保，包括但不限于商品适销性或适用于特定用途的担保。 分享—你可以复制该报告或将报告的一部分纳入一个或多个文件或出版物中，用于商业和非商业目的。 在以下条件下: 归因— 你必须给 SlashData 适当的致谢TM，并向云原生计算基金会作为本报告的赞助商表明是否进行了更改。在这种情况下，你可以以任何合理的方式这样做，但不得以任何方式这表明SlashDataTM支持你或你的使用。 SlashDataTM，其附属公司及代表对任何第三方因基于本出版物所做的或未做决定，或采取或未采取行动而遭受的任何直接、间接、特殊或后果性损害或利润损失，概不负责。 利亚姆·博尔曼 - 道德 高级市场研究顾问 利亚姆是一位前实验反物质物理学家，他在欧洲核子研究中心获得物理学博士学位。他关注云开发的不断变化、网络安全，以及技术发展与它们对社会影响之间的关系。 阿尔瓦罗·鲁伊斯·库贝罗 liam.dodd@slashdata.co 研究经理 阿尔瓦罗是一位市场研究分析师，具有战略和运营背景咨询服务。他拥有工商管理硕士学位管理和相信数据驱动的决策力量。Álvaro热衷于帮助企业应对复杂的战略业务挑战，并做出基于深入研究和分析的战略决策。 关于作者 关键洞察 • 对于人工智能推理工具，nvidia triton、deepspeedtensorflow-serving和bentoml是那些项目开发者累计被放置在采用位置。➜ •metaflow获得了最高的成熟度评级，而airflow是最有可能被推荐的获得了最高的实用性评分。 • 英伟达triton在成熟度和实用性方面获得了最高评分。➜ •对于机器学习编排，BentoML被放置在试验位置，表明跨越技术多种用例仍然可以在每个领域成功，但 •➜当前或以前的用户向其他人推荐它开发者。 • 模型上下文协议（MCP）和Llama堆栈是开发者将感知置于采纳位置的代理式AI项目。➜ • airflow和metaflow是两种崛起并成为机器学习编排工具采用地位的技术。➜ • MCP在成熟度和实用性评级方面领先，但Agent2Agent最有可能被其当前或以前的用户推荐（94%）。➜ 1. 简介 在2025年第三季度，超过300名专业开发者使用被要求就云原生开发相关的技术，就其关于AI推理工具和引擎、机器学习（ML）编排工具以及智能体AI平台、项目和系统的经验和意见进行说明。向开发者展示的技术是由CNCF和CNCF的终端用户社区根据相关性和重要性选定的。被调查的开发者来自世界各地并且拥有广泛的专长和关注领域。受访者更细粒度的分解包含在方法论部分。 对于他们熟悉的产品或工具，他们进行了评分他们根据其有用性和成熟度进行了评估，并表明他们推荐将该技术推荐给其他开发者的可能性。在本报告的上下文中，有用性被定义为给定技术满足项目需求的能力，而成熟度与其稳定性和可靠性有关。推荐等级被转换为净推荐值(NPS)用于分析期间。 1. 简介 注意：这些雷达位置不一定与 CNCF 成熟度模型（沙盒、孵化器和已毕业）相关，后者对应于 Geoffrey A. Moore 的创新者、早期采用者和早期多数层。跨越鸿沟：向主流客户营销和销售高科技产品. 基于使用情况、有用性和成熟度评级，以及如何他们推荐给定技术的可能性如何，我们将技术分为四类：采用、试用、评估和 持有。「采用」技术被认为是大多数用例的可靠选择，而「试用」技术值得探索以查看它们是否满足您的特定需求。「评估」技术需要在承诺之前进行仔细评估。 'hold'技术被认为不够成熟或有用当前状态。这项研究提供了见解，了解哪些AI/ML工具正在专业开发者中受到欢迎，并有助于识别云原生领域中技术采用的新兴模式，以满足不断增长的ML/AI社区的需求。 沙盒：沙盒项目处于其最早的阶段，用于实验和基础成长。它们是更新的技术代表初始概念和技术，具有显著的进化空间。 孵化中：拥有明确的技术愿景和不断增长的贡献者基础，但在社区采用、稳定性和治理方面仍处于成熟过程中的项目。 毕业：毕业项目被广泛采用且可靠。已建立一个多元化的社群基础，并得到成熟的支持技术政策和管理治理。 人工智能推理工具和引擎 2. 人工智能推理工具和引擎 对于人工智能推理工具和引擎，我们发现英伟达triton, deepspeed, tensorflow serving, and bentoml as受访者将累计置于技术雷达的“采用”位置的那些技术。Kubeflow 和 Adlik 这两种目前处于孵化阶段的技术被置于“试用”位置。 熟悉人工智能推理工具的开发人员（n=202） 成熟度 在成熟评级方面，英伟达Triton获得了最高评级在50%的受访者目前或曾经使用 ollama是一个有趣的分裂技术示例，五星评分比例（34%），与中位数一致 但1星和2星评分的比例最高（23%）。这也比Envoy AI Gateway（16%）高出很多，而后者是负评比例第二高的。将近四分之一的开发者认为ollama还不够成熟，这表明它可能不适合某些开发场景或用例，从而导致负评部分用户中的认知。 技术给了它5星评分，并额外给了30%的4星评分。LMCache获得了第二高的5星评分比例，达到43%，但获得了远小的4星评分比例，为21%。虽然对于相当一部分开发者来说，LMCache被认为是可靠和稳定的，但在这群人之外，评估似乎比NVIDIA下降得更快。特龙。 在顶尖表现者之外，其他技术显示出强劲的整体认可度，即使5星评价的浓度较低。TensorFlow Serving（73%的综合4星和5星），DeepSpeed（71%），以及kgateway（71%）展现了这一模式， 具有大量4星评分，抵消了他们的较低5星 比例。这种更广泛的正面评价分布可能表明其在不同的使用场景中具有更广泛的吸引力，表明这些工具能够可靠地满足不同开发者的需求，而不是为更狭窄的受众取得卓越成就。 人工智能推理工具和引擎的成熟度评级 实用性 英伟达triton在实用性方面也处于领先地位，41%熟悉它的开发者给出了五星评级，另外还有38%提供4星评分。DeepSpeed获得了一个类似的 5星评价比例但4星评价比例略低，为35%。BentoML的5星评价比例最高（38% ），但4星评价比例要小得多，为25%。虽然NVIDIA Triton和DeepSpeed受到了广泛的积极评价，但与它们相比，BentoML可能在满足部分用户的项目需求方面遇到了困难。 Bentoml 可能难以满足某些开发者的项目需求 envoy ai gateway（18%）和 llama.cpp（15%）在有用性方面获得了最高比例的负面评价。然而，对于 envoy ai gateway 来说，这是一个更严重的挑战，因为它获得正面评价的比例远低于 llama.cpp，为 51% 对比 73%。 推荐 在推荐可能性上，NVIDIA Triton 再次位居榜首，有 57% 的人高度可能推荐它。然而，Adlik 和 Seldon MLServer 的高度可能推荐的比例更大。很可能的建议，每个92%，与英伟达Triton的比较89%。虽然英伟达的Triton拥有高度狂热的用户群体，但Adlik和Seldon MLServer显然展现出很多价值，即使它们在成熟度和有用性评分上低于其他技术。 所有技术都获得了大部分受访者可能会或非常可能会推荐它们的评价，其中llm-d最低为74%。使用某项技术的开发者通常倾向于推荐它，即使在记录担忧或局限性时也是如此。许多开发人员也认识到，不适合他们特定项目的技术的价值可能在其他背景下提供，这解释了为什么推荐分数可能与成熟度和有用性评级不一致。 推荐 AI 推理工具和引擎的可能性 机器学习（ML）编排工具 3. 机器学习（ML）编排工具 空气调和元流是根据开发者的感知被放置在“采用”位置上的两种技术。BentoML在机器学习编排方面被放置在“试用”位置，这是一个强劲的结果，但落后于它在人工智能推理方面的结果，当时它被放置在“采用”位置上。Argo Workflows是一个已毕业的CNCF项目，它与孵化中项目Kubeflow。 熟悉机器学习编排工具的开发者 (n=171) 1CNCF 项目2Linux基金会 AI & 数据项目3Linux基金会项目 成熟度 盛宴在成熟度方面的5星评分领先，达到46%，但其4星和5星评分的综合比例落后于Metaflow和Argo Workflows，分别为84%和80%，相比之下盛宴的78%。虽然这些差异很小，但它们突出了盛宴的成功在于它让几乎一半了解它的开发者感到十分放心。然而，与argo workflows和metaflow相比，盛宴的用户群规模要小得多，拥有长期使用的高级用户也较少。因此，这两个项目能够为大量用户群体提供成熟度方面的良好体验。 Flyte 在其他项目中的 4-和 5 星评分累积比例明显更小 (47%)，其次是 SeldonCore 为 61%。相反，在那些熟悉flyte的，44%给出了3星评分。这表明 与其说是一次糟糕的经历，飞腾反而未能令人印象深刻。尽管正面评价率低，负面评价率也同样低，这表明针对性的改进可以提升人们对飞腾成熟度的认知。 3. 机器学习（ML）编排工具 Ml编排工具的成熟度评级 实用性 Metaflow、Airflow 和 Feast 在有用性的 5 星评分比例上都领先，各为 43%。Airflow 在这些领导者中脱颖而出，没有任何 1 星或 2 星评分，这表明在熟悉 Airflow 的更大受众中，没有人在这方面对其持负面看法。 airflow 没有收到关于实用性的负面评价 Flyte 在有用性方面也显示出较低的 4 星和 5 星评分比例（68%），与成熟度类似，但 Seldon Core 的比例较小（55%）。3 星评分的重复高比例进一步表明，Flyte 的弱点可能更多地与其作为一个更通用的工具有关，缺乏能够使其区别于其他工具的突出特性。 ML编排工具的有用性评分 推荐 超过半数熟悉Metaflow（51%）的受访者高度推荐，另有35%可能推荐它。Airflow和Argo Workflows的 BentoML 在成熟度和实用性方面表现良好，虽然 84% 的熟悉它的人会推荐它，但只有 33% 的人说它们被“高度可能”推荐。差异 高推荐可能性的受访者比例分别为43%和42%，但它们的累积推荐可能性比例均为90%。 很可能推荐和高度可能推荐之间可能会出现，这取决于技术对开发者流程感觉起来的核心程度或根本程度，而BentoML正在满足开发者的需求，而没有将其建立为他们对工作流程的核心。 推荐机器学习编排工具的可能性 智能体AI平台、项目和系统 4. 代理式人工智能平台、项目和系统 对于最终的技术雷达，我们着眼于自主型人工智能平台、项目和系统。模型上下文协议(MCP)和Llama Stack根据开发者评分被置于“采用”位置。与CNCF相关的两个项目kgateway和kagent目前都被置于“评估”位置。 1CNCF 项目2Linux基金会 成熟度 对于每个项目的成熟度，agentgateway（38%）和 Llama