人工智能代理在行动：评估与治理基础

白皮书 2025年11月 Adobe Stock图片： 内容 前言 4 执行摘要 5 引言6 1 人工智能代理演进的技基础 8 1.1一个AI代理的软件架构81.2通信协议与互操作性101.3网络安全考虑12 2 人工智能代理评估与治理基础 13 2.1分类142.2评估192.3风险评估22人工智能代理的治理考量：一种渐进式方法2.4 25 3 展望：多智能体生态系统 29 结论30 贡献者 31 尾注 34 免责声明 本文件由世界经济论坛发布，作为对一项项目、洞察领域或互动的贡献。本文所表达的研究发现、解释和结论是经世界经济论坛促进和认可的合作过程的结果，但其结果不一定代表世界经济论坛的看法，也不一定代表其所有成员、合作伙伴或其他利益相关者的整体意见。 2025世界经济论坛。版权所有©版权所有。本出版物之任何部分均不得以任何形式或任何方式复制或传播，包括影印和录音，或由任何信息存储和检索系统。 前言 李凯蒂 罗山吉亚凯捷创新首席执行官 人工智能卓越中心主任，世界经济论坛执行委员会成员 通过人工智能治理联盟，世界经济论坛和埃森哲正与人工智能社区合作，共同推进这一课题，表明现在是时候为具有自主性的未来做准备。如果采用者从小处着手，谨慎迭代并应用相称的保障措施，代理机构可以被部署以增强人类能力，释放生产力，并为随着时间的推移出现更复杂的多代理生态系统建立基础。除非采用一种谨慎和有意识的方法，未经测试用例可能会超越监管，导致目标不一致的激励、涌现的风险和公众信任的丧失。 近年来，组织已超越预测模型和聊天界面，以更具变革性的方式试验人工智能（AI）。AI代理现在正作为业务、公共服务和日常生活中的集成协作者而涌现。采用AI代理可能带来效率的显著提升、人机交互方式的改变以及新型数字生态系统的诞生。 这一转型面临着多个需要解决的障碍。从模型到代理的转变不仅仅是一个技术里程碑，它要求组织重新思考他们如何设计、评估和管理先进的代理系统。许多公司现在都在质疑代理能够完成哪些任务，以及采用和部署它们的必要步骤，以确保安全、负责任和有效。 如同任何变革性技术一样，人工智能代理带来的机遇必须伴随着引导其发展与部署的责任。通过跨职能协作和共同治理，人工智能代理可以被整合进能够放大人类创造力、促进创新并提升整体生活质量的途径。本文是朝着这一方向迈出的一步，为早期采用者提供指导，帮助他们应对人工智能代理采用的复杂且往往不均衡的道路。 本文旨在帮助回答这些问题。通过绘制能动系统的不断发展基础、分类其作用、识别评估它们的新方法以及概述渐进式治理方法，本文为在现实世界环境中导航采用的领导者提供了实用指导。 执行摘要 本文探讨了AI智能体的出现，概述了其技术基础、分类、评估和治理，以支持其安全有效的应用。 角色，根据自主性、权限、可预测性和操作环境对代理进行区分的分类。第三，它建议一种渐进式治理方法，该方法直接将评估和安全保障与代理的任务范围和部署环境联系起来。 本报告主要面向AI代理的采用者，包括决策者、技术领导者以及寻求将AI代理集成到组织工作流程和服务的从业者。 虽然人工智能代理正在获得关注，但在如何负责任地设计、测试和监督它们方面仍然缺乏指导。本文旨在通过提供安全和有效部署这些系统的结构化基础来填补这一空白。 这些元素共同为采用者提供从实验到部署的概念性蓝图。报告强调了将采用与评估和治理实践相结合的重要性，以确保人工智能代理的成功部署，同时保持信任、安全和问责制。 该论文做出了三个关键贡献。首先，它涵盖了人工智能代理的技术基础，包括它们的架构、协议和安全考虑因素。其次，它提供了一个功能 引言 人工智能代理正从原型转向部署，这既带来了变革性的机遇，也带来了新的治理挑战。 今天是数据驱动模型兴起的时代，特别是生成式人工智能（AI）和大型语言模型（LLMs），它们正推动新一代基于LLM的智能体的出现。这些系统可以通过反馈机制生成计划、模拟推理并调整其行为，以以前无法实现的方式运作。这种演变引发了一波新的实验浪潮，研究人员和公司正在迅速在各种领域创建智能体原型。本报告主要关注基于LLM的智能体（有时简称为“AI智能体”），其日益增长的能力既为应用创造了重大机遇，也为治理和安全带来了一套新的挑战。 人工智能代理正逐渐嵌入越来越多跨越云计算和边缘计算的任务、工作流程和应用场景中，引领着更广泛应用的潮流。随着从原型设计到部署的过渡加速，当前的应用仍然集中在早期采用者之中。根据最近一项针对高管的全 cầu性调查，82% 的组织计划在接下来一到三年内集成代理，这表明大多数工作仍然处于规划或试点阶段。1在走向更广泛采用的进程中。 软件代理的概念几十年来已在机器人学、自主系统和分布式计算等领域得到研究。有什么不同 基于LLM的人工智能代理，例如，会引入目标错位、行为漂移、工具误用和涌现性协调失效等新风险，而传统软件治理模型无法管理这些风险。与常规软件不同，代理正越来越多地承担类似于人类决策者的角色，而不是静态工具。这意味着仅针对访问控制和系统可靠性设计的治理模型已不再足够。更有用的比较是对人类用户的治理，用户必须通过展示长期表现来获得权限、责任和信任。类似地，通过测试其行为与验证案例相符、在有人参与的配置中运行、并且只有当可靠性得到充分证明后才逐步扩大自主性，可以建立对人工智能代理的信任。在这两种情况下，最小权限原则仍然至关重要，访问权限仅限于完成任务所需的信息和操作。 跨分类、评估、风险评价和治理的支柱，它们共同构成了渐进式采用和部署的基础。图1展示了本报告的总体内容，这有助于指导人工智能代理的负责任采用和部署。 目标是使采用者、提供者、技术领导者、组织决策者和其他利益相关者具备对代理系统当前状态和新兴监管实践的共同理解。在经合组织（OECD）等机构制定的既定人工智能治理原则和框架基础上，2美国国家标准与技术研究所 (NIST),3国际标准化组织（ISO）/国际电工委员会（IEC）4以及其他人，本文介绍了一些关于自主性、权力、运营环境和系统风险的原则，这些原则扩展了现有的治理指南，并从以代理为中心的视角出发。这些见解来自于工作组会议、研讨会以及与人工智能治理联盟的Safe Systems and Technologies工作组成员进行的广泛访谈。 本报告旨在提供前瞻性分析重点在人工智能代理不断演变的格局中，在负责任部署所需的能力、基础设施、分类保护。为此，它围绕四个基础结构进行组织 1人工智能代理的技术基础演进 人工智能代理的架构、协议和安全模型决定了它们如何融入组织并与世界互动。 以新员工入职的同等严谨程度，包括明确定义的职责、安全措施和结构化的监督机制。本节概述了实现自主代理系统所需的技术基础，以及塑造其构建、部署和管理方式所做出的架构决策。 虽然人工智能代理的核心架构已初步形成，但代理部署、集成和治理的实践仍处于萌芽阶段。随着组织开始“雇佣”人工智能代理来支持或增强人类团队，或执行影响物理世界的任务，采用应被视为 1.1 人工智能代理的软件架构 构建代理不仅需要工程，还需要模型、工具、数据源和人类之间的编排和协调。 行业采用基于LLM的智能体标志着软件开发从僵化、基于规则的系统转向更灵活、意图驱动的交互的重大转变。例如，在呼叫中心，早期遵循脚本决策树的聊天机器人现在正让位于能够理解意图、管理上下文和更动态地升级决策的智能体系统。这种向智能体AI的演进代表着控制和自主性的根本变化，传统上由人类执行的任务现在被委托给了机器。 模型、工具、数据源和人类。在分层设置中，智能体行为、泛化和与环境交互的方式引入了新的复杂性，这加强了对结构化脚手架的需求。 今天，AI代理架构被组织成三个相互连接的层，包括,应用、编排和推理，它们共同实现智能、上下文感知和业务一致的自动化。从高级角度来看，代理架构旨在与用户和系统交互，使用外部工具和应用编程接口（API）协调复杂任务，并通过语言模型、推理模块和控制逻辑的组合支持决策。这些层共同提供了支撑代理运行的技术基础。 要实现这一转变，AI代理借鉴了四种技术范式： The，以及协议等应用层作为模型上下文协议（MCP）和代理到代理协议（A2A），将代理集成到特定流程或用户工作流中。它接收输入用户界面或API，并将其转换为通过结构化信号。应用逻辑应用特定领域的规则和约束，以确保代理的输出（即预测、决策、行动、消息等）与用户期望和业务需求保持一致。该层可以在云端或边缘计算设备上运行。 The(framework layer)编排层管理代理如何解释输入、调用工具和协调任务。虽然一些大型语言模型提供5他们已经将工具直接集成了其解决方案中，这可能会创建僵化且供应商锁定的系统。代理框架通过标准化工具和系统集成，保持对大型语言模型的无关性，并跨越云和边缘的多个工作负载来克服这个问题。这使得 AI 代理能够采用多种推理策略和支持功能，例如代码执行或搜索，并使用 MCP 协议与企业资源（包括数据库和客户关系管理（CRM）系统）连接。大多数代理还包括处理特定任务的专用子代理，这使得它们在功能上成为多代理系统的一部分。在这一点上，编排层至关重要，因为它协调子代理、分配责任和管理它们之间的依赖关系。它还支持模型切换，允许组织根据任务的复杂性、成本或性能将不同的模型分配给不同的任务。重要的是，AI 代理具有独特的架构，可以将其扩展到组织的安全边界之外。它们调用外部工具和与其他代理通信的能力使它们能够 理解这种架构对于预测代理将如何与用户和系统交互、协调工作流以及做出上下文感知决策至关重要。 超越传统网络边界运行，引入新的网络安全问题。 The支撑着代理的能力推理层用于为其目标生成、预测、分类或应用规则。根据任务的不同，推理层可以采用多种模型，包括确定性方法、基于规则的范式和经典机器学习，以及小语言模型或大语言模型以及其他生成架构。模型的选择决定了智能体如何处理信息、适应环境并最终执行其被赋予的角色。 图2说明了这种分层架构，展示了应用、编排和推理层中的内部组件如何协同工作，以支持动态代理行为，同时保持组织系统之间的安全边界。 结合起来，这些层构成了控制代理功能的技术骨干。对于实施AI代理的组织而言，理解这种架构对于预测代理将如何与用户和系统交互、协调工作流和做出基于上下文的决策至关重要。 1.2 通信协议和互操作性 Mcp已在领先的代理框架中获得了广泛支持，并且越来越被视为一个核心机制。 先进的基于LLM的智能体的格局是由新的协议所支持，这些协议实现了更无缝的集成和协作。例如，MCP旨在标准化企业软件系统、外部数据源和智能体之间的连接，而A2A等协议代理机构架构的代理连接协议（ACP）提供工具来促进不同AI代理之间的交互，为多代理系统（MAS）形成互操作性层。随着这些协议在云平台、企业网络和边缘设备上实施，它们对于运行代理代码并在连接真实世界传感器数据和系统时是必要的。 通过标准协议与外部数据源、API和企业系统进行通信。与为每个代理任务组合开发定制集成不同，MCP允许代理作为客户端，通过MCP兼容服务器请求服务。例如，使用MCP的代理可以通过共享界面检查日历、检索电子邮件、更新数据库内容或更新CRM记录。这大大减少了摩擦，加快了部署，并支持跨工具和环境的模块化即插即用功能。 MCP已在领先的代理框架中获得了广泛支持，并且越来越被视为连接代理到更广泛的企业基础设施的核心机制。 由Anthropic于2024年末推出，MCP6使代理能够连接到内部或 MCP关注代理与外部或内部系统之间的通信，而A2A等协议则使代理能够相互发现、交互、协作和委托任务，无论它们是在组织的安全边界内还是外运行。这些协议解决了在复杂的、跨组织或技术边界工作的多代理环境中的一个日益增长的需求，使得来自不同供应商的代理能够有效通信。 2025年4月发布于谷歌，7 A2A通过通用通信接口运行，并引入了代理卡（类似于模型卡）的概念8), 其中包含代理的身份、能力与