行业研究公司研究宏观策略财报招股书会议纪要 Token 低空经济十五五 AIGC 大模型

刘逸伦-打造自适应AI运维智慧体大语言模型在软件日志运维的研究与实践

信息技术 2024-11-17 2024AI研发数字峰会AiDD北京站我是传奇

软件日志运维观点：智能运维演进趋势是从任务数据驱动到自适应运维智慧体

观点1：软件日志运维是从机器语言向自然语言的转化
- 日志是机器语言：大规模网络、软件系统运行时产生PB级别日志，是类自然语言文本，描述设备运行状态、异常情况。
- 传统网络运维是机器语言的人工翻译过程：运维人员通过解读日志中的自然语言、语义信息来发现问题、分析根因。
- 自动日志分析是机器语言的自动翻译过程：日志文本种类繁多、数量庞大，多数为非结构化文本，无法通过人工方式监控和检测全部日志；分析设备日志需要丰富的领域知识，耗时耗力；简单规则配置无法理解文本的语义信息。
观点2：智能运维演进趋势：从任务数据驱动到自适应运维智慧体
- 智能运维代际演进：
  - 第一代：离散特征和KPI特征识别及统计算法拟合异常结果（Ft-tree, LogParse）
  - 第二代：日志文本生成token深度学习拟合异常结果（LogAnomaly, LogStamp）
  - 第三代：段落日志和跨域日志预训练语言模型日志语言理解（BigLog, DA-Parser）
  - 第四代：原始日志和自然语言文本大语言模型可解释性运维（LogPrompt）
  - 第五代：自适应运维智慧体：目标自适应、领域自适应、强交互性、可执行性
- 研究项目代际演进思路：从任务数据驱动到指令驱动，逐步提升模型对日志的理解和分析能力。

自适应智慧体在运维领域面临的Gap：传统自动运维模型既没法“自适应”，也仅是有限“智慧”

Gap1：传统智能运维算法依赖于任务标注数据，仅仅是拟合数据，对于新领域无法自适应
- 任务训练数据减少时，传统方法预测精度下降。
- 在线场景下，频繁的软件更新、第三方插件等产生大量模型未见过的日志，难以获得足量的历史标注数据。
Gap2：传统运维系统可解释性差、可交互性弱，智慧有限
- 传统日志分析算法只输出“告警/正常”，对于异常日志无反馈，需要专家阅读相关日志模板，人力整理生成分析报告，费时费力。
- 只给出预测结果，对于报假警、漏报等情况不能很快地排除，需要结合原始日志进行分析排查。
- 现有方法基于任务数据可以自动映射故障现象，但依然没有完成智能运维的最后一步：根因分析和故障自恢复。
- 运维智慧体愿景：指令驱动，可以进行根因查找与自我纠偏，充当设备系统与工程师之间交流沟通的桥梁。

大模型Prompt引擎助力自适应运维智慧体：LogPrompt：利用Prompt工程激发大模型运维潜能，零样本推断+可解释性

LogPrompt解决传统日志分析两大Gap
- 依赖于任务数据，专家标注耗时耗力，自适应性差
- 智慧有限，可解释性差，直接输出告警结论，无法实现告警事件分析
LLM作为运维智慧体的潜力与挑战
- 大模型有强语言泛化与解释能力，但是对Prompt敏感
引入 chain-of-thought (CoT) prompt 策略可以激发LLM解决日志分析挑战的能力
- CoT prompt 优势：
  - Break down unseen problems into manageable steps (Gap 1)
  - Enhance interpretability and transparency of LLM output (Gap 2)
  - Unleash the learned abilities in the pre-training phase
LogPrompt 探索
- 将CoT prompt 的思想引入日志分析任务：
  - Implicit CoT：要求LLM生成每个正常/异常答案的理由， justify its decisions
  - Explicit CoT：明确定义中间步骤，例如在异常检测任务中，将异常定义为“文本中明确表达的警报”，并定义四个异常检测步骤
- 其他可以在日志分析任务中应用的Prompt策略：
  - pSelf-prompt：LLM建议自己的提示词
  - pIn-context Prompt：使用标记好的日志样本设置任务上下文
  - pFormat Control：使用函数建立输入槽和答案槽的上下文
实验设置
- 使用logHub数据集，包含九个不同领域的真实世界日志
- 两个数据集（BGL和Spirit）由领域专家标注异常事件
- 八个数据集手动提取了日志模板
- 所有日志数据都带时间戳，可以按时间顺序分割为训练集和测试集
- 使用外部服务提供的API访问底层LLM
- 初始温度系数设置为0.5，平衡模型推理能力和随机性
实验结果
- LogPrompt在零样本日志分析场景取得了较好效果，减轻了算法的数据依赖
- LogPrompt生成了可信、详细、相关的分析过程，增强了日志分析的解释性
- 实验表明，LogPrompt在日志解析和异常检测任务上均取得了优异的性能
实践案例
- xx云基于大模型Prompt引擎实现本地API联通的定制化告警分析
- Prompt引擎服务设计架构，包括中央控制器、对话/交互提示词引擎、底座模型、私有数据支撑等模块

大模型知识迁移打造运维专精模型：工业场景需要增强可离线部署的小型LLM的日志分析能力，以更好地理解Prompt

应用Prompt application策略到可部署的小型LLM存在领域知识Gap
- 将LogPrompt应用于较小规模的LLM：Vicuna 13B
- Vicuna 13B在HDFS、Linux和Proxifier数据集上实现了与175B GPT模型相当的日志解析性能
- 当提示策略从简单提示转变为LogPrompt时，Vicuna的性能显著提高
SuperLog：对开源小型LLM进行领域知识注入，以增强其对领域Prompt策略的理解执行能力
- SuperLog通过领域适配技术，帮助小型LLM更好地理解并执行LogPrompt策略
初步实验结果
- SuperLog在日志解析任务上取得了显著的性能提升