打造自适应AI运维智慧体：大语言模型在软件日志运维的实践

软件日志运维观点：智能运维演进趋势是从任务数据驱动到自适应运维智慧体

观点1：软件日志运维是从机器语言向自然语言的转化

• 日志是机器语言：大规模网络、软件系统运行时产生PB级别日志，是类自然语言文本，描述设备运行状态和异常情况。
• 传统网络运维是机器语言的人工翻译过程：运维人员通过解读日志中的自然语言、语义信息发现问题、分析根因。
• 自动日志分析是机器语言的自动翻译过程：日志文本种类繁多、数量庞大，多数为非结构化文本，无法人工监控；分析需要领域知识，耗时耗力；简单规则配置无法理解语义信息。

代际输入方法与目标研究成果

• 第一代：离散特征和KPI特征识别及统计算法拟合异常结果（Ft-tree, LogParse）
• 第二代：日志文本生成token深度学习拟合异常结果（LogAnomaly, LogStamp）
• 第三代：段落日志和跨域日志预训练语言模型日志语言理解（BigLog, DA-Parser）
• 第四代：原始日志和自然语言文本大语言模型可解释性运维（LogPrompt）
• 第五代：自适应运维智慧体：目标自适应、领域自适应、强交互性、可执行性

智能运维演进趋势：从任务数据驱动到自适应运维智慧体

• 智能运维发展趋势是从任务数据驱动到自适应运维智慧体，利用大语言模型等技术实现更智能的运维。

自适应智慧体在运维领域面临的Gap

• Gap1：传统智能运维算法依赖于任务标注数据，对于新领域无法自适应，需要大量标注数据，而在线场景下难以获得足量历史标注数据。
• Gap2：传统运维系统可解释性差、可交互性弱，智慧有限，无法实现根因分析和故障自恢复，缺乏反馈与互动。

大模型Prompt引擎助力自适应运维智慧体：LogPrompt

• LogPrompt利用Prompt工程激发大模型运维潜能，实现零样本推断+可解释性，解决传统日志分析的两大Gap。
• LogPrompt优势：
  • 无需训练资源，可灵活迁移至不同设备应用。
  • 增强分析结果的可解释性、可交互性，以思维链提示引擎激发大语言模型的领域文本分析能力和根因推理能力。

LLM作为运维智慧体的潜力与挑战

• 大模型有强语言泛化与解释能力，但是对Prompt敏感。
• 引入chain-of-thought (CoT) prompt策略可以激发LLM解决日志分析挑战的能力。

LogPrompt探索

• CoT Prompt：将CoT prompt的思想引入日志分析任务，包括Implicit CoT和Explicit CoT。
• 其他Prompt策略：Self-Prompt、In-context Prompt、Format Control。

实验设置与结果

• 实验主要使用logHub数据集，包含九个不同领域的真实日志。
• LogPrompt在零样本日志分析场景取得了较好效果，减轻了算法的数据依赖。
• LogPrompt生成了可信、详细、相关的分析过程，增强了日志分析的解释性。
• 实验结果表明，LogPrompt在日志解析和异常检测任务上均取得了显著性能提升。

大模型知识迁移打造运维专精模型：SuperLog

• 应用Prompt application策略到可部署的小型LLM存在领域知识Gap。
• SuperLog对开源小型LLM进行领域知识注入，以增强其对领域Prompt策略的理解执行能力。
• 初步实验结果表明，SuperLog在日志解析任务上取得了显著性能提升。

未来畅想

• AI运维智慧体面临更高要求：文本、图片、语音全模态支持日志解析、异常检测、根因分析、报告生成。
• 从应用角度来看，从文本、图片、语音视频等全模态支撑LLMOps运维系统。
• 从构建方式来看，自动抓取系统流量、截图、客服记录等进行自监督学习。