部署具有安全性的代理人工智能：技术领导者的剧本（英）

风险与韧性实践以安全和安全部署智能体AI：技术 领导者的游戏计划 自主人工智能代理展现了一个充满机遇的新世界——同时也带来了一系列新颖且复杂的风险和脆弱性，这些都需要立即引起关注并采取行动。 商业领袖正急于拥抱代理式人工智能，而原因很容易理解。自主且目标驱动，代理式人工智能系统能够在无人监督的情况下推理、计划、行动和适应——这些强大的新能力可能帮助组织捕捉通用人工智能释放的潜力通过彻底革新他们的运营方式。越来越多的组织正在探索或部署代理式人工智能系统，据预测，这些系统每年将在60多种生成式人工智能用例（包括客户服务、软件开发、供应链优化和合规）中解锁2.6万亿至4.4万亿美元的价值。 并且，部署智能体的旅程才刚刚开始：仅1%的受访组织认为他们的AI应用已达到成熟。2 但是，虽然自主型人工智能有潜力带来巨大价值，这项技术也带来了各种新风险——引入可能中断运营、泄露敏感数据或损害客户信任的漏洞。人工智能代理不仅为潜在的攻击者提供了新的外部入口，而且由于它们能够在无人监督的情况下做出决策，也引入了新的内部风险。在网络安全领域，您可以将人工智能代理视为“数字内部人员”——在系统中拥有不同权限和权威等级的实体。就像它们的人类对应者一样，这些数字内部人员可能由于协调不当而无意中造成损害，或者如果它们被攻破则可能故意造成损害。目前已经，80%的组织表示他们已经遇到了人工智能代理的风险行为，包括不当的数据暴露和在未经授权的情况下访问系统。3 由技术领导者——包括首席信息官（CIO）、首席风险官（CRO）、首席信息安全官（CISO）和数据保护官（DPO）——来深入理解与人工智能代理和代理型员工相关的潜在风险，并主动确保技术得到安全合规地采用。（对早期代理型人工智能部署的回顾突显六条关键教训——从重新构想工作流程到嵌入可观察性——这些都能帮助组织在扩展新技术时避免一些常见陷阱。 4) 人工智能在工作中的未来不仅仅是更快或更智能。它将更加自主。代理将越来越多地发起行动、跨越部门协作，并做出影响业务成果的决策。这是一个令人兴奋的发展——前提是这些代理不仅拥有公司的访问权限，还理解其意图。在一个代理化的世界里，信任不是一项功能。它必须是基础。 智能时代的新兴风险 通过自主运行并自动化传统由人类员工执行的任务，自主型人工智能为风险领域增加了另一个维度。关键转变是从支持交互的系统转向驱动直接影响业务流程和结果的交易系统。这种转变由于增加了放大基础风险（如数据隐私、拒绝服务、系统完整性）的潜在可能性，从而加剧了在自主环境下关于机密性、完整性和可用性的核心安全原则所面临的挑战。以下新的风险驱动因素超越了与人工智能相关的传统风险分类 —连锁漏洞一个代理中的一个缺陷会跨任务传播到其他代理，加剧风险。 示例：由于逻辑错误，信贷数据处理代理将短期债务误分类为收入，虚增了申请人的财务状况。此错误输出流向下游的信用评分和贷款审批代理，导致不合理的高的分数和有风险的贷款审批。 —跨代理任务升级。恶意代理利用信任机制来获取未经授权的权限。 示例：医疗系统中的一个受感染的调度代理向临床数据代理请求患者记录，并将任务虚假地升级为来自持证医师。然后该代理释放敏感健康数据，导致未经授权的访问和潜在数据泄露，且未触发安全警报。 —合成身份风险。攻击者伪造或冒充代理身份以绕过信任机制。 示例：攻击者伪造了理赔代理人的数字身份，并提交了一个合成请求以访问保险理赔历史记录。系统信任了伪装代理人的凭证，从而在未检测到身份冒充的情况下，暴露了敏感的保单持有人数据。 —无法追踪的数据泄露。自主代理在不被监督的情况下交换数据，掩盖泄露并逃避审计。 示例：一个自主客服代理与外部欺诈检测代理共享交易历史以解决查询问题，但也包含关于客户的无需的、可识别个人身份的信息。由于数据交换没有被记录或审计，敏感银行数据的泄露未被察觉。 —数据损坏的传播。低质量数据在代理之间悄无声息地影响决策。 例子：在制药行业，一个数据标注代理错误地标记了一批临床试验结果。这些有缺陷的数据随后被用于有效性分析和监管报告代理，导致试验结果失真，并可能造成不安全的药物批准决策。 此类错误威胁要侵蚀代理系统旨在自动化的业务流程和决策中的信任，削弱其带来的任何效率提升。幸运的是，这并非不可避免。代理式人工智能可以实现其潜力，但前提是必须从一开始就将下面概述的安全和保密原则融入部署中。 智能体AI安全指导原则 要安全地采用自主人工智能，组织可以采取结构化、分层的的方法。下面，我们提供了一个实用的路线图，概述了技术领导者应该提出的关键问题，以评估准备情况、降低风险，并促进自主系统的自信采用。该旅程始于更新风险和治理框架，然后是建立监督和意识机制，最后是实施安全控制。 部署代理之前 在使用自主代理之前，组织应确保它已经建立了必要的安全保障、风险管理实践和治理机制，以便安全、负责任和有效地采用这项技术。以下是一些需要考虑的关键问题： —我们的AI政策框架是否涵盖了代理系统及其独特风险？回答这个问题首先需要升级现有的AI政策、标准和流程——例如身份和访问管理（IAM）和第三方风险管理（TPRM）——以涵盖代理系统的全新功能。例如，在IAM的背景下，组织应为代理定义角色和审批流程，以保护与数据、系统和人类用户的互动。同样地，他们还应该定义和审查从第三方获取的代理解决方案与内部资源的互动。 组织也必须应对人工智能法规不断变化的特点。它们可以从识别其适用的规则开始。例如，欧盟《通用数据保护条例》（GDPR）第22条通过赋予个人拒绝仅基于自动化处理的决策的权利，限制了人工智能的使用。在美国，诸如《平等信用机会法》（ECOA）等特定行业的法律对人工智能系统提出要求，以防止歧视。此外，纽约市的地方法律144号等州级倡议强制对自动化的就业决策工具进行偏见审查，表明了人工智能问责制日益增长的趋势。新的针对人工智能的法规，如欧盟《人工智能法案》，正在被采纳，并将在未来三年全面生效。在这个快速发展的监管环境中，许多要求仍不明确，采取保守方法——预期可能的标准，如人工监督、数据保护和公平性——可以帮助组织保持领先，并避免未来昂贵的合规改造。 对于组织AI组合中每个代理性用例，技术领导者应识别和评估相应的组织风险，并在需要时更新其风险评估方法。 —我们的风险管理计划能够应对代理型AI风险吗？企业网络安全框架—例如ISO 27001、美国国家标准与技术研究院网络安全框架（NIST CSF）和SOC 2—侧重于系统、流程和人员。它们尚未充分考虑到能够独立决策和适应变化的自主代理。为弥补这一差距，组织可以修订其风险分类法，明确纳入自主AI引入的新型风险（如图所示）。 对于组织人工智能组合中的每个代理式用例，技术领导者应识别和评估相应的组织风险，并在需要时更新其风险评估方法，以能够衡量代理式人工智能中的风险。如果没有这种透明度，代理式人工智能产生的风险威胁成为比分析和生成人工智能所见的更黑的一个盒子。 —我们是否拥有健全的治理机制来管理人工智能的整个生命周期？建立治理需要定义标准化的监督流程，包括人工智能入职、部署和离岗流程中的所有权和责任；与KPI相关的监控和异常检测；定义升级触发器；以及为智能体行为制定问责标准。对于组合中的每个智能体人工智能解决方案， 组织应首先列出一项技术细节——例如基础模型、托管位置和访问的数据源——以及用例的重要性、上下文数据敏感性、访问权限和交互依赖关系。接下来，它们应明确每个用例的所有权，并建立人工审核监督和决策、安全与合规的负责利益相关者，同时识别并分配能力来管理风险。 展品 在启动代理用例之前 一旦上述基础问题得到解决，并且建立了代理型人工智能风险框架和相关政策，组织就应明确了解他们正在建设的内容，并对每个项目相关的风险和合规性考虑因素进行考量。解答以下问题有助于确保他们的雄心与准备程度相匹配： 尤其是在实验或试点阶段，人工智能项目往往会快速蔓延，缺乏足够的监管，这可能导致难以管理风险或执行治理。 —我们如何保持对代理计划的控制，并确保我们对所有项目都有监督？特别是在实验或试点阶段，人工智能项目往往在没有充分监管的情况下迅速扩散，这可能使得管理风险或执行治理变得具有挑战性。组织应建立一套清晰、集中管理且与业务方向一致的人工智能组合管理系统，确保信息技术风险、信息安全以及信息技术合规职能进行监管。该系统应提供关于业务、IT和安全的所有权方面的完全透明度；用例的详细描述；提供给代理用于训练、交互（例如，连接的API）或两者进行的数据列表；以及数据的状况。知识库还应包含所有业务单元目前正在开发、试点或计划中的代理系统。这有助于组织避免模型在未经控制地进行实验性部署时，出现潜在的非预期关键暴露点。 —我们有能力支持并保护我们的智能代理系统吗？为了帮助确保自主AI试点的成功，组织应评估其在自主路线图方面的当前技能、知识和资源水平——包括AI安全工程、安全测试、威胁建模以及治理、合规和风险管理所需的技能。然后，他们应识别自主雄心与安全能力之间存在的能力和资源差距，并启动意识和教育活动以缩小这些差距——同时根据AI生命周期定义关键角色。例如，缺乏AI威胁知识的组织需要提升安全工程师在AI模型和智能体威胁建模方面的能力。 在部署一个代理式 AI 用例期间 一旦用例和试点项目开始运行，组织就需要确保试点项目受到技术和流程控制的执行。这些控制应该定期重新评估，以确保它们随着自主系统的完善和扩展而保持相关性和有效性。这里有一些需要考虑的关键问题： —我们为代理与代理的交互做好了准备吗？那些连接是安全的吗？智能体不仅与人类用户互动，还与其他智能体互动。为了确保这些智能体之间的协作，组织必须采取措施，尤其是在多智能体生态系统不断发展的背景下。用于管理智能体交互的协议，如Anthropic的模型上下文协议、Cisco的智能体连接协议、谷歌的智能体间协议以及IBM的智能体通信协议，正在开发中但尚未完全成熟。随着技术领导者监测协议的演变，他们还应该确保智能体之间的通信经过身份验证、记录并具有适当的权限。与其等待完美的标准，现在实施保护措施并在更安全的协议出现时计划升级是最佳选择。 —我们能否控制谁可以使用代理系统，以及他们是否在使用它们？需要监控和保护对模型和资源的访问。身份和访问管理系统不仅应适用于人类用户，还应适用于与其他代理、人类、数据和系统资源交互的AI代理。组织应定义哪些用户（人类或AI）被授权访问或接口此类资源和资产，以及在何种条件下。他们还应在IAM中增强输入/输出护栏，以防止代理被滥用、操控，或通过对抗性提示或目标不匹配被触发为不安全行为。此外，组织需要仔细管理第三方代理AI代理与内部资源交互的方式，以帮助确保它们满足与内部系统相同的安全、治理和伦理要求。 —我们能追踪代理的行为并理解和解释它们的行为吗？智能体系统从一开始就应配备可追溯机制。6 这意味着记录不仅包括代理人的行为，还包括导致这些行为的提示、决策、内部状态变化、中间推理和输出。此类系统对于可审计性、根本原因分析、合规性和事后审查至关重要。组织应建立定期的绩效考核，以评估代理人是否仍与其预期目的保持一致。 —如果我们有代理失败或行为异常的应急计划吗？即使是设计良好的智能体也可能失败、被腐蚀或被利用。在部署之前，组织应为每个关键智能体制定应急计划，并落实适当的安全措施。这始于模拟最坏情况场景，例如智能体无响应、偏离预期目标、有意恶意或升级任务而不 授权。接下来，组织应确保终止机制和回退解决方案可用。最后，他们应在具有明确定义的网络安全和数据处理环境的自包含环境中部署代理。这也允许在需要时立即隔离。 通过识别和实施有效控制，组织可以主动缓解代理式AI风险，而不是被动地应对它们。例如，保持一致的AI代理组合，并结合强大的AI日志记录，可以监控代理之间的数据交换，从而降低无法追踪的数据泄露风险。此外，部署AI应急计划和沙箱环境，连同IAM和护栏，可以有效地隔离试图通过跨代理任务升级来获取未授权特权的