任志强-大模型Agent在AIOps运维场景的实践

Agent的背景

• 大模型下的Agent：LLM（大型语言模型）作为通用人工智能的核心，结合规划、反馈和工具使用，形成能自主理解、规划决策、执行复杂任务的智能体（Agent）。
• Agent的框架：旨在减轻人类工作压力，提高任务效率，解放双手和大脑，推动前沿科学领域的创新性工作。
• 常见的Agent分类：生成式LLM、单Agent、多Agent，以及自治任务Agent、反思/拆解/规划+自动工具执行Agent等。
• Agent的通用框架：包括AutoGPT、BabyAGI、Langfuse、HuggingGPT、XAgent、AutoGen、MetaGPT、ChatDev等。

Agent的建设实践

• 比传统AIOps的优势：
  • 流程自动化：利用Agent的planning能力实现分析/执行等任务的自动化。
  • 工具和数据整合：通过反思和工具调用实现传统工具的调用，不同类型数据的自动分析。
  • 知识利用：利用LLM和RAG充分利用公域和私域知识，优化运维分析和操作场景。
  • 交互方式转变：从web页面交互向“对话”交互转变，降低交互复杂度。
  • 编程能力：实现故障自愈、性能优化等场景。
• LLM Agent基础架构：包括反思（Reflection）、工具使用（Tool Use）、记忆管理（RAG/prompt）、规划计划（Planning）和环境互动/人工介入。
• LLM Agent的常用范式/方法：对话+工具+反思、角色+协作方式+规划/流程+具身创新性、知识补充+更新、Temperature合理、prompt引导、自学习、格式化总结、问答、突破token限制等。

Agent的场景建设实践

• 多Agent故障修复：通过主持人计划/反思，驱动不同角色使用工具进行诊断，完成故障处置和修复。
• 基于大模型的多模态异常检测：基于Transformer架构，引入多模态信息进行异常检测。
• 智能问答-oncall：
  • 问题拦截：利用RAG和text2sql等技术，实现多模态知识的回答。
  • 工单辅助：增加对运维工具的使用，实现辅助SRE进行故障排查、分析和修复。

Agent未來展望

• 多模型的糅合+FT：将强化学习和大模型结合，优化规划计划和环境互动。
• 数据+安全：持续收集整理数据，确保数据达标和安全。
• 业务的持续演进：RAG和工具的使用等支撑的业务场景，需要持续技术优化和业务更新。

字节跳动STE团队介绍

• 聚焦系统技术领域的前沿技术动态、技术创新与实践、行业技术热点等。
• 欢迎关注【字节跳动SYS Tech】公众号。