2026年人工智能体时代基础设施效率与创新核心举措报告

1402位全球领导者分享的提升效率与创新的关键要点。 执行摘要 我们正处在一个基础设施的复兴时期。数十年来，组织构建的基础设施在一个应用程序的速度与人类同步的世界中表现卓越——其速度快如用户键入或点击。但具有自主能力的AI从根本上改变了这场游戏的节奏。 为应对这一技术转变，我们第二份年度报告借鉴了1402位全球IT领导者的直接经验。我们的研究发现，创新型组织不仅升级硬件，更在重新构想其整体架构方法。通过转向分布式环境、在源头保障工作负载安全，并将治理直接嵌入编排层，领导者正确保其基础设施与所支持代理的雄心相匹配。 多智能体系统正快速协作、推理和行动。如今，推理——即AI的实际“行动”——已占所有AI工作负载的大多数，正式超越训练。 这份报告不仅是对现状的调研，更是为建立生产级自主系统新标准而制定的路标。 传统架构正承受着这种压力而出现裂纹。根据我们的数据，62%的领导者正因其遗留系统栈而面临高昂的“推理税”——具体包括数据外传、存储臃肿和闲置的专业硬件。转向代理式AI需要摆脱传统基础，转向动态、AI优化的架构。 尼拉夫·梅hta，产品管理副总裁，谷歌云 关键发现 自主AI需要一个新的基础设施标准 83% 的组织需要升级基础设施以支持生产级智能代理系统。 02 治理是扩展推理的前提 将安全、治理和 MLOps 视为扩展推理面临的最重大挑战。 03 混合多云成为人工智能部署的新标准 52% 的组织现在采用混合多云架构，90%的人认为边缘部署很重要。 04 效率现已成为一项关键任务要求 九十一分之百的领导者现在将功耗纳入硬件选择因素。 代理型人工智能的基础设施授权 全方位来看，具有自主性的AI正成为一个日益重要的全球优先事项。 根据我们的研究，93%的技术领导者认识到代理式AI等AI工具与解决方案的价值，并在其组织内使用它们。然而，代理式AI的雄心与其实现所需的基础设施能力之间的差距正在扩大。 令人震惊的是，83% 的组织需要升级基础设施以支持生产级智能代理系统。 在代理时代取得成功，仅仅进行云迁移是不够的。要从试点转向生产，企业必须全面优化其基础设施，在硬件、部署模式、安全和治理等方面平衡正确的策略。 智能体工作负载带来了全新的基础设施需求。要为智能体时代打下成功基础，需要在不同数据源之间跨越的复杂工作流中保持上下文。 必须确保安全，在本地、边缘和混合多云环境中提供细粒度的数据驻留和安全保障，以满足碎片化的全球监管环境要求。 本报告揭示了领先组织如何将基础设施作为增长和创新的原动力。从实际挑战到战略机遇，我们展示了您如何构建一个与运行其上的智能体同样雄心勃勃的人工智能基础，该基础针对效率、安全性和全球规模进行了优化。 应针对推理进行优化——为始终运行的工作负载提供高并发性能，同时保持可持续投资回报率所需的成本效益。 自主AI需要一个新的基础设施标准 自主代理正在改变整个行业，并要求一种新的方法。成功需要建立在持续智能的基础之上——成本效益放在首位。 代理准备就绪差距 人工智能已从一种总结世界的工具演变为一种作用于世界的引擎。在零售领域，它能够定制个性化风格并即时采购产品。在营销领域，它能够快速构建并扩展数千个精准营销活动。 然而，随着AI工作负载从试点转向生产，它们正遭遇一个功能瓶颈——遗留基础设施并非为自主代理系统的需求而构建。 对于架构需要升级的83%的组织而言，代理遇到了速度瓶颈——它们只能以所受限的遗留系统的速度运行。 93%的高级IT决策者认识到人工智能的价值，并在其整个组织中使用它。 您当前的基建为智能代理系统做好了怎样的准备？ 12%29%27%需要重大针对特定升级核心系统需要稍作修改整合工作以及调校需要显著根本的升级83%的人认为他们的基础设施需要升级以支持自主型人工智能。调查问题：您当前的的基础设施为支持具有独特需求的代理式人工智能系统（例如，持久性、状态化、长时间运行的过程）做好准备到什么程度？ 自主型人工智能需要一种新的执行规模 智能体时代从根本上改变了AI的工作负载。单个智能体提示即可触发数百个下游操作——独立地在多个系统中浏览、查询和执行。 按类型消耗的预算百分比 例如，供应链代理可以提前识别出销售旺季前的库存不足。它会主动将实时销售数据与历史模式和现有库存进行比对，协调采购代理进行备货，并与货运代理协商管理运输事宜——所有这些工作都在准备采购订单以供审批之前完成。 这种向自主性的转变极大地改变了AI的工作负载。推理现在占所有工作负载的1%至47%，超过了训练（28%），因为组织正转向需要大规模持续推理和自主决策的生产级代理系统。 彪马通过其AI创作平台，已使超过9万名球迷共同创作了超过35万套定制足球装备，将产品设计转变为由球迷主导的体验。在与两家欧洲主要足球俱乐部合作的两场活动中，彪马与谷歌云合作实施动态工作负载调度——实时扩展计算能力，以在全球范围内提供快速、无缝的创作，同时优化成本和性能。 构建持续智能的基础 自主系统通过持续、高速、安全地访问多个数据源来运行。 您在代理式人工智能基础设施方面最大的差距是什么？ 代理需要连接那些并非为机器对机器对话而设计的ERP和CRM系统。它们需要具备长期记忆能力，以便在今日执行任务时，能记住三周前用户的偏好。并且，它们必须在规模化应用中持续保持这种思维链。 43%36%35% 多系统访问的安全措施不足与遗留 API 和数据源集成困难缺乏专业、高通量的矢量数据库 缺乏持续智能的基础，智能体将保持健忘和局限。这些障碍是创新差距最大的地方。 调查问题：在支持自主型人工智能方面，您当前的基础设施存在哪些最显著的差距？ 重新点燃云迁移 集中控制与可观测性 为解决碎片化问题，组织正选择具备编排和可观测性工具的云平台。这些平台提供单一控制点，用于管理代理与遗留系统之间的数据流，协调复杂的、多步骤的工作流程，并允许人类观察代理的思维过程，并在其偏离轨道时进行干预。 企业零散的数据格局和陈旧的基础设施为成功采纳人工智能创造了重大障碍。这些挑战使人工智能缺乏必要的背景信息，并导致响应时间缓慢，从而产生不完整的结果和糟糕的用户体验。 要成功应用人工智能，企业需要将关键工作负载迁移到提供统一数据湖、灵活计算、毫秒级延迟和集成式人工智能开发工具的人工智能就绪型云平台。这将弥合碎片化差距，并为组织成功应用人工智能奠定基础。 Sabre将其基础设施从19个昂贵的数据中心迁移至谷歌云，利用Cloud Spanner实现事务一致性，并使用BigQuery管理500PB的数据。除了节省成本之外，该合作使Sabre能够为其全球市场平台保持99.999%的服务水平协议（SLA）。 那些高级人工智能采用者——那些将人工智能嵌入大多数工作流程，并积极寻求和采用新人工智能解决方案的组织——现在比那些仍处于人工智能成熟度早期阶段的组织更有可能使用完全或主要托管的服务，其可能性高出50%。 主要得益于这次向云迁移，这家全球旅游技术领导者每年节省了1.5亿美元——这还不包括因开发效率提升（如人工智能、标准、工具等）带来的其他节省——并且显著加快了其创新步伐。如今，Sabre已拥有70多种投入生产的人工智能解决方案，其中包括使用Gemini的ADK构建的代理API。 通过将集群配置、扩展和硬件抽象等底层基础设施管理任务委托给云服务提供商，组织能够降低运营成本，并将宝贵的时间释放出来，供内部团队专注于创新。 成本效益是首要任务。 随着代理驱动着推理热潮，企业正将其焦点从人工智能的可能性转向其长期盈利能力。96%的受访者表示，成本效益对他们的人工智能基础设施决策过程很重要。 虽然计算成本是最显眼的支出，但其他潜在因素正推动着拥有总成本（TCO）的上升。 在做出人工智能基础设施决策时，成本效益有多重要？ 扩展人工智能时，有哪些主要的隐藏成本？ 62% 基础设施和直接使用成本 81% 运行复杂度和工程开销 57% 劳动力和人才 这包括工程师花费在手动“粘合”工作上的无数小时——将分布在不同系统和数据库中的AI代理整合起来——以及维护安全和合规性所带来的运营成本。 这些开支源于数据外传费用不断攀升、存储需求激增，以及预算被浪费在过度配置的专用硬件上，而这些硬件往往闲置不用。 专业人工智能人才的溢价很高，而若方法不当，提升现有团队技能可能会耗费大量时间和预算。 关键要点 最成功的组织正朝着管理型基础架构发展，以降低运营复杂性。 现代化你的基础 编排平台提供可重复使用的框架，用于连接代理和系统、自动化工作流，并可在同一地点监控所有内容。 先进的AI采用者正转向现代云平台，目前已有24%的用户使用完全或主要的管理服务。他们可以借助专为构建的数据库和集成的AI开发工具来构建、部署和扩展代理，从而绕过拼凑式系统的瓶颈。 LiveX.AI通过将集群维护工作委托给谷歌 Kubernetes Engine (GKE) Autopilot，将运营成本降低了66%，并为其工程师释放了宝贵的时间。这一举措减少了企业的额外开销，让工程师们能投入更多时间专注于智能体行为。 为高效支持KakaoTalk的海量规模和日常流量，Kakao通过采用Google Cloud TPUs和JAX框架优化了基础设施成本和性能。通过此次转型，他们成功开发了专用于韩语的Kanana模型家族，并在使用最新的Trillium TPUs时，模型吞吐量提升了2.7倍。此外，通过应用专家混合（Mixture-of-Experts, MoE）架构来提高推理效率，Kakao为在韩国大多数民众使用的服务中灵活部署先进AI技术奠定了基础。 治理是扩展推理的前提。 人工智能代理从根本上重塑了安全格局。领先企业正将安全与治理置于其基础设施战略的核心。 自主人工智能改变了我们对安全的认知。 成熟的治理已成为一项战略先决条件。拥有成熟治理的组织正以更大的信心加速人工智能的采用，而缺乏这些关键结构的组织则落后了，随着市场向自主执行发展，从而造成了创新差距。 在能动时代，挑战已不再是阻止外围的威胁——而是要确保安全与治理得当，使AI扩展到生产成为无缝、可重复的过程。 79%的技术领导者将安全、治理和运营视为扩展推理（inference）面临的最重大挑战。 稳健的治理体系为快速创新提供了自由空间。坚实的安保与治理基础并非障碍，而是助推器，它决定了组织是能够自信地引领市场，还是会因应对新兴风险而放缓脚步。 在扩展 AI 推理时，您面临的最大挑战是什么？ 代理安全悖论 代理被设计用来执行操作——读取邮件、查询数据库和执行 API 调用。问题在于，如何赋予代理足够的自由度使其发挥效用，同时又设置足够的约束条件确保其安全可靠？这将是 2026 年定义性的治理挑战。 35%的高级IT决策者将“多系统访问安全不足”列为阻碍能动式部署的主要差距。 传统安全是为人类设计的，而非为自主代理设计的。代理需要更多访问权限来满足用户查询，但它们容易受到新威胁的攻击。例如，间接提示注入和工具中毒，攻击者通过代理处理的数据或它调用的API来劫持代理的逻辑——将代理的行动能力变成一个缺陷。 确保思维链条至关重要 由于模型运行在共享基础设施上，多租户环境中的数据泄露担忧（41%）也尤为突出。这对 GSI 和 SaaS 供应商来说尤其关键，他们必须确保一个客户的问题不会影响另一个客户模型的权重或上下文。 传统的网络安全侧重于边界防护。人工智能安全必须聚焦于模型及其溯源——即其来源、数据来源和训练历史。 确保人工智能/机器学习供应链安全（48%）是领导者的首要安全关切。企业专注于保护其模型免受受损训练数据或通过开源权重引入的漏洞的影响。风险在于，依赖树中深处的一个受损组件可能会引入仅在特定条件下才会触发的潜在行为。 人工智能基础设施方面的主要安全担忧 48% 确保人工智能/机器学习供应链安全 多租户环境中的数据保护 调查问题：从