黄金-趣丸科技在运维 AI Agent 的探索与实践

大语言模型（LLM）：基于海量数据进行预训练的超大型深度学习模型，其核心为“Transformer”网络，类似人脑的关联区。
提示工程：指导生成式AI生成所需输出的过程。
AI Agent：能自主理解、规划决策、执行复杂任务的智能体，具备感知环境、改变环境、学习适应的能力，本质为“规划+记忆+工具”的结合。
五层基石理论：包括调用大模型API（Models）、提示词模版（Prompt Templates）、链式调用（Chains）、自主执行链式调用及访问外部工具的Agent（Agent）、以及多个Agent共享记忆、分工协作（Multi-Agent）。

智能运维探索历程：
- 2022/06 AIOps打造高效运维：引入基于AI的服务机器人，通过聊天方式执行运维操作，实时处理运维反馈。
- 2022/09 ChatOps创新：在根因定位、资源交付、故障总结等场景落地，推出“知了”多Agent协作数字人，实现运维通用人工智能。
- 2023/03 大模型革命：利用可观测能力产生的海量数据，通过AI能力解决微服务复杂性。
“知了”：
- 面向运维领域的通用人工智能体。
- 达到T2-2职级的运维领域数字人。
- 基于多Agent协作框架的大模型应用。
多Agent实现模式：
- 由Agent自行控制协作。
- 由权威Agent控制协作。
- 路由Agent决定使用哪个Agent。
- 用户决定使用哪个Agent。
- 主持Agent协调多个Agent工作。
智能运维实践架构：
- SessionStateController（SSC）：控制用户会话状态，管理长短期记忆，控制会话流程与生命周期。
- Host Agent：决策Agent，判断会话走向，输出决策。
- Agent Action：选择Agent回答问题，反馈问题。
- CMD Action：命令行动，无需Domain Agent参与。
- Domain Agents：回答用户问题，控制领域Agent生命周期。
智能运维实践方法：
- 给模型询问的机会，使输出更丰富、符合事实。
- 让模型自我矫正，提高准确性。
- 采用Auto Few Shot > Few Shot > Zero Shot策略，提升通用性和鲁棒性。