智能体监管的未来

核心观点

• 代理监督的重要性： 随着自主AI代理的兴起，代理监督成为确保其可靠性和安全性的关键。监督不仅涉及技术层面，还包括业务参与和跨职能合作。
• 代理监督的挑战： 代理监督面临着独特的挑战，包括AI代理的概率行为、推理不透明性、以及去中心化实验带来的风险。
• AgentOps 堆栈： 为了应对这些挑战，需要建立一个AgentOps堆栈，包括前期测试、运行时护栏和部署后反馈监督。
• 前期测试： 前期测试分为四个级别，从手动测试到使用LLM作为裁判的提示测试，以及真实数据集比较和代理版本A/B测试。
• 运行时护栏： 护栏通过管理代理执行过程中的风险来保护操作，包括输入过滤器、输出控制、业务逻辑执行和安全性。
• 部署后反馈监督： 部署后监督包括实时监控、漂移测试、人工审阅和用户反馈，以实现持续的风险管理和迭代改进。
• 共享协议和治理： 为了扩展多智能体系统，需要建立共享协议和治理框架，包括代理注册表、共享观测中心和可扩展协议。
• 业务团队的角色： 业务团队需要积极参与代理监督，定义风险所有权，并参与代理设计和治理。

关键数据

• 代理测试可能占据30-50%的整体代理开发时间。
• 40%的客户与公司的互动将由人工智能塑造（到2030年）。

研究结论

• 代理监督是AI未来工作的方向，需要建立新的治理模式和技术工具。
• AgentOps堆栈为代理监督提供了框架，包括测试、护栏和反馈循环。
• 组织需要建立共享的AgentOps堆栈，包括统一注册中心、共享观测中心和可扩展协议。
• 业务团队需要参与代理监督，并承担代理风险的所有权。
• 人工智能治理需要与强大的信息技术和数据处理实践紧密对齐。