黄金-趣丸科技在运维 AI Agent 的探索与实践

趣丸科技在运维AI Agent上的探索与实践 黄金基础架构负责人 01大 模 型 与A g e n t概 述 02智 能 运 维A g e n t的 探 索 与 实 践 03智能运维Agent的应用场景 04未来展望 PART 01 大模型与Agent概述 大语言模型 什么是大语言模型 大型语言模型（LLM）是基于大量数据进行预训练的超大型深度学习模型。LLM是一种类似人脑特征的深度学习算法，LLM中的“Transformer”网络本质上就像一个巨大的、在海量数据上训练的大脑关联区。 提示工程 提示工程是指导生成式人工智能（生成式人工智能）解决方案生成所需输出的过程。 How LLMs are and are not like the brain AI Agent解密 什么是Agent Agent可以理解为某种能自主理解、规划决策、执行复杂任务的智能体，它能够感知其环境，通过自己的决策和行动来改变环境，并通过学习和适应来提高其性能。 简单理解：Agent = Planning + Memory +Tools LLM是大脑，而Agent就是完整的人 《大语言模型（LLM）支持的自主代理》 五层基石理论 •Models，也就是我们熟悉的调用大模型API。•Prompt Templates，在提示词中引入变量以适应用户输入的提示模版。•Chains，对模型的链式调用，以上一个输出为下一个输入的一部分。•Agent，能自主执行链式调用，以及访问外部工具。•Multi-Agent，多个Agent共享一部分记忆，自主分工相互协作。 PART 02 智能运维Agent的探索与实践 智能运维探索历程与实践 2022/09ChatOps创新 •尝试在根因定位、资源交付、故障总结等场景落地•“知了”多Agent协作数字人，运维通用人工智能。 •引入Ai能力解决微服务落地带来的复杂性•可观测能力的不断增强，产生海量数据，人工分析处理的负担加重 •采用基于AI能力的服务机器人•运用聊天的方式，有效执行运维操作•实时获取并处理运维反馈 2022/06AIOps打造高效运维 2023/03 大模型革命 智能运维探索历程与实践 什么是“知了” 1.面向运维领域的通用人工智能体2.能达到T2-2职级的运维领域的数字人3.基于多Agent协作框架的大模型应用 智能运维探索历程与实践 智能运维探索历程与实践 常见多Agent实现模式 由Agent自行控制下一步如何进行，是否需要协作，需要哪个Agent协作。每一个Agent都了解其他所有Agent的领域范围。 由权威Agent控制下一步如何进行。权威Agent了解每一个Agent的领域范围。 智能运维探索历程与实践 路由Agent决定使用哪个Agent 用户决定使用哪个Agent 主持Agent协调多个Agent工作 智能运维探索历程与实践 智能运维探索历程与实践 SessionStateController（SSC)：控制用户会话状态，控制长短期会话记忆。控制会话流程与生命周期。 Host Agent:决策Agent，判断当前会话走向，输出决策（agentorcmd）。 Agent Action：选择Agent回答用户问题，并将问题反馈给。 CMD Action:命令行动，不需要Domain Agent参与。 Domain Agents回答用户会话，控制领域Agent生命周期。 智能运维探索历程与实践 智能运维实践 1.给模型询问的机会2.让模型自我矫正3.Auto Few Shot > Few Shot > Zero Shot 智能运维实践 让大模型主动询问用户，可以使大模型输出更加信息丰富、更密集、更符合事实的文字 智能运维实践 Question: Question hereReview:Vqalidateyour relationships and properties based on background knowledge and schemes.Answer:CypherQLhere. Must ensure it's concise enough. If you cannot generate a cypher query, return "not a cypher".Error: The result of your cypher query(if cypher is invalid). 智能运维实践 通用性、鲁棒性更好 结果准确性差 Review:Vqalidateyour relationships and properties based on backgroundknowledge and schemes.Answer:CypherQLhere. Must ensure it's concise enough. If you cannot generate a cypher query, return "not a cypher".Error: The result of your cypher query(if cypher is invalid). --- Schema of Neo4j:{schema} Example of each node attribute:{nodes} PART 03 智能运维Agent的应用场景 智能运维Agent的应用场景 智能运维Agent的应用场景 智能运维Agent的应用场景 智能运维Agent的应用场景 辅助提单 智能运维Agent的应用场景 故障跟进与报告生成 智能运维Agent的应用场景 未来展望 自主纠错 走向个人助理 每个人都有自己的背景标签、风格喜好 大模型从对话历史学习到用户背景，可以实现用用户更容易接受的方式同用户对话，更能“善解人意”。 高效运维社区DevOps时代 荣誉出品 感谢大家观看