智能体监督的未来

核心观点

• Agentic AI 的兴起: Agentic AI 将取代人类在繁琐重复任务上的工作，同时催生新的工作类型：Agentic Supervision（代理监督）。
• 治理挑战: Agentic AI 的认知任务将被更高级、更高效的认知任务所取代，但同时也带来了新的治理挑战，需要更严格的治理框架来控制 AI 代理的行为。
• AgentOps 概念: Agentic Supervision 需要建立新的操作模式——AgentOps，它将 DevOps、DataOps 和 MLOps 的原则扩展到 AI 代理的生命周期管理、治理和监督工具。

关键数据

• 调研方法: 对 14 家企业和 5 位 Artefact Agentic 产品经理和工程师进行访谈，并联系了主要的 Agentic Supervision 提供商。
• 员工数量: Artefact 公司拥有 1700 名员工，业务遍及 25 个国家，服务超过 1000 家客户。

研究结论

• 治理框架: Agentic Supervision 需要建立价值与风险监督框架，涵盖可靠性、合规性、安全性、用户体验和财务等方面。
• AgentOps 栈: AgentOps 栈包括三个核心层：
  • 预生产测试: 通过手动测试、LLM-as-a-Judge 测试、真实数据集比较和 A/B 测试等方法确保代理质量。
  • 运行时护栏: 通过输入过滤、输出控制、安全防护和用户安全等措施防止实时事件发生。
  • 部署后监督: 通过实时监督、迭代时间监督和战略时间监督，持续管理风险并改进代理行为。
• 技术标准: 建立清晰的代理生命周期标准，包括发布决策、技术标准和退役政策，以加速决策并减少工程摩擦。
• 业务参与: 业务团队需要积极参与代理监督，定义风险所有权，参与护栏设计，并建立事件响应协议。
• 跨职能协作: 技术团队和业务团队需要跨职能协作，共同建立 AgentOps 基础设施和治理框架。

未来展望

• AgentOps 工具: 预计未来几年，AgentOps 工具将取得重大进展，提供更全面、更高效的监督功能。
• 标准化协议: 需要建立共享协议，以实现多代理系统之间的互操作性和可管理性。
• AI 素养: 需要提升 AI 素养和组织变革管理能力，以适应 Agentic AI 带来的新挑战。