Agentic AI 安全与治理现状报告

核心观点

• 威胁成为现实： 2025 年以来，自主 AI 代理的采用加速，攻击者开始积极针对 AI 代理、其工具注册表以及连接它们的协议。提示注入成为攻击的主要技术，代理供应链已成为主动攻击面。
• 安全与安全的融合： 随着代理自主性的增加，部署层的安全性和安全性之间的界限变得模糊。模型级安全性仍然是提供者的责任，但在代理对生产系统采取行动时，相同的控制机制管理两种类型的损害，并且相同的调查揭示两种类型的根本原因。
• 代理身份与非人类身份： 非人类身份（NHI）数量远远超过人类身份，但很少有组织有管理非人类和代理身份的策略。代理身份是一个动态的加密框架，用于证明代理的身份并安全地管理能够独立推理并在信任边界之间执行的系统。
• AI SBOM 和供应链起源： AI 系统继承了传统软件供应链风险，但还引入了动态组合和委托授权的新维度。AI SBOM 和 AIBOM 实践扩展了传统 SBOM 的概念，以涵盖模型工件、训练谱系（如果可用）以及 AI 特定组件。
• 可解释 AI 和代理透明度： 传统的可解释 AI 技术在代理系统中并不完全适用。代理系统需要轨迹级透明度，而不是特征级归因。解释性要求越来越受到法律的约束，组织需要能够实时监控代理行为并记录轨迹。
• 监管和合规环境： AI 监管环境正在迅速发展，欧盟 AI 法案、美国各州 AI 法律以及新加坡的 AI 模型治理框架等法规对自主 AI 代理的部署提出了明确的要求。
• 企业采用成熟度模型： 该报告提供了一个企业采用成熟度模型，该模型根据部署复杂性和治理能力评估治理能力。该模型有助于组织了解其当前的治理状况，并制定改进计划。

关键数据

• 53 个关键的自主 AI 仓库中有 9.4% 的仓库显示了激增的提交增长，39% 的仓库处于停滞或下降状态，三个项目现已存档。
• 28 个仓库被归类为编码代理，五个增长最快的项目也都在这个类别中。
• 七个项目每天发布一次或更快的版本，trycua/cua 平均每 8 小时发布一次版本。
• 29% 的财富 500 公司和约 19% 的全球 2000 强公司已成为领先的 AI 创业公司的付费客户。

研究结论

• 自主 AI 代理的安全性和治理是一个不断发展的领域，组织需要不断调整其策略和控制机制。
• 代理身份和访问管理是治理的关键领域，需要采用新的方法来管理非人类代理。
• AI SBOM 和 AIBOM 实践对于提高供应链透明度和问责制至关重要。
• 组织需要投资于实时监控、自动化事件分类和轨迹级可解释性，以满足监管要求并降低风险。
• 安全团队和合规团队需要更紧密地合作，以应对自主 AI 代理带来的挑战。