基于大模型的智能运维解读 - 顾黄亮

个人简介 畅销书《DevOps权威指南》作者《技术赋能数字化转型的基石》作者中商联互联网应用工作委员会智库入库专家国家互联网数据中心产业技术创新战略联盟智库专家委员会副主任委员企业数字化转型IOMM委员会特聘专家财联社鲸平台智库入库专家中国信通院可信云标准特聘专家江苏银行业和保险业金融科技专家委员会候选专家TVP（腾讯云最有价值专家）成员MVP（阿里云最有价值专家）成员 日志智能化处理 目录 智能运维知识库 多智能体Agent 智能运维的几个方向 大模型下的DevOps MLOps(Machine Learning Operations)是一种基于DevOps进化的的概念，是指将DevOps的理念和方法应用到机器学习的开发、部署、运维等各个环节，从而提高机器学习模型的生产效率和质量。 大模型下的DevOps 大模型下的DevOps 大模型下的平台工程 日志智能化处理 日志智能化 日志使用的基本流程 日志智能化 LOGFORMER: A Pre-train and Tuning Pipeline for Log Anomaly Detection 日志智能化 基于Transformer的日志异常检测框架LogFormer 日志智能化 LogFormer的两个工作阶段-日志注意力编码阶段 Softmax代表了回归模型，Matmul为矩阵乘法，Scale为矩阵除法 日志智能化 LogFormer的两个工作阶段-基于Adapter的微调结构 日志智能化 语料来源以及消融结果 日志智能化 日志解析-Feed和LLM的交互 Feed包含结构化数据和源码数据。实现日志调用栈的报错分析，并找到源码，通过大语言模型最终给出分析结果 日志智能化 日志解析-和接口文档进行对接，对日志进行解析 日志智能化 运维智能知识库 运维知识库 运维大语言模型知识库的整体建设方案 运维知识库 文档结构化拆解算法 运维知识库 运维知识库 Query增强算法 p词袋模型：将文档视为一个由词汇组成的集合，不考虑词汇之间的顺序和语法关系。词袋模型可以通过对词汇进行计数或者二元化处理（出现为1，未出现为0）来构建文本向量 pF-IDF：通过对词汇在文档中的频率以及在整个文档集合中的罕见程度进行计算，得到每个词汇的权重值 p词嵌入技术：通过神经网络等机器学习算法进行训练，可以捕获词汇之间的语义关系和语法结构，提高向量化的准确性 运维知识库 根据回复给出脚本命令，且命令可以执行 运维智能工单 如果客户咨询一个问题，我的手机号是130XXXXXXXX，我的姓名是张三，我的身份证后六位为000000，请帮我查询手机话费。通常情况下，通用型的GPT答复是这样的。 运维智能工单 一种基于Agent技术的运维大语言模型框架 运维智能工单 多路链状推理论文：SELF-CONSISTENCYIMPROVESCHAINOFTHOUGHT REASONINGINLANGUAGE MODELS 双Agnet审核技术论文：Communicative Agents for SoftwareDevelopment 树状推理技术论文：Tree of Thoughts Deliberate Problem SolvingwithLarge Language Models 运维智能工单 AgentFramework架构：Agent组件可用于完成某个复杂任务，Planning组件用于完成某个逻辑，PlanUnit组件可用于完成单步逻辑，Profile组件提供Agent角色扮演设置，Memory组件负责对信息的管理，Action组件负责外部API的管理 多智能体Agent 多智能体Agent 一个典型的业务微服务架构 多智能体Agent 一个常见微服务体系根因分析流程，警报事件发生在节点A上，而警报事件的根本原因节点是I，故障传播路径为I→G→D→A 多智能体Agent T h a n k s 荣誉出品