大语言模型在ICT运维领域的研究及应用-datafun

大语言模型观点

• ChatGPT通过大语言模型技术引爆AI产业，GPT4在人类考试场景中大幅超越GPT3.5，部分测试表现超过人类水平。
• 微软全面拥抱OpenAI大模型技术，基于GPT4的Copilot在办公产品中全面应用。
• 时代高速发展，人类语言是模型理解世界的桥梁，与人类对齐成就更好的模型效果和体验。

自然语言在ICT领域的发展

• 万物皆可译（解码），Transformer的出现进一步验证了这个理论。
• ICT运维场景及目标：基于数据、算法和场景驱动的智能运维，数据包括日志、KPI、告警等。
• 大语言模型可以应用到ICT运维领域，通过预训练或指令学习适应多任务场景。

大语言模型在ICT的应用

• 问题场景：日志是类自然语言的文本，可以通过LLM加强理解；预训练或指令学习可适应多任务场景。
• 第一代技术：基于规则和模板的日志分析。
• 第二代技术：LogStamp，基于深度学习的日志分析，效果接近1。
• 第三代技术：Biglog，基于预训练的日志语言理解模型，解决定制化严重、各自为战的问题。
  • Biglog在日志异常检测、故障预测、日志解析任务上取得多项最佳表现。
  • Biglog技术难点：通用语言模型BERT对日志理解能力不足，原始日志噪声大，术语多。
  • Biglog解决方案：大规模预训练、新的日志预处理流程、数通术语增强模型预训练。
  • Biglog效果：提升领域泛化能力和few-shot能力，在公开数据集上取得多项最佳表现。
• DA-Parser：基于预训练模型的两阶段域感知日志解析框架，处理多源日志输入时性能提升多达30%。
  • DA-Parser效果：在F1分数和RandIndex上超过基线模型，对所有7个基线模型都有普遍改进。
  • DA-Parser优势：使用模板集的提取考虑了日志语义，并考虑了各个域的特征。

未来畅想

• 第四代技术：LogXXX日志运维向智慧体演进，增强可解释性，减少数据依赖。
  • LogXXX：Prompt驱动，激发大模型的日志分析和推理能力，充当设备系统与工程师之间交流沟通的桥梁。
  • LogXXX效果：零训练数据在异常检测、日志解析任务中取得12项最佳表现，超过现有方法51.9%。
  • LogXXX的根因生成与变量解释能力在业界专家评测中取得90+以上的高分。
• 从LLM到AGI的未来展望。