潘陈益-从数据到告警的全流程优化与探索

整体介绍

国泰君安智能运维发展历程概述。

数据服务能力建设

1. 体系梳理建立：建立统一的、具有证券行业特性的运维指标体系，通过技术手段实现指标模型管理、质量管理、计算任务管理、血缘管理，保障指标体系的动态更新和持续运营。
2. 统一数据开发平台：构建统一数据开发平台，实现敏捷数据交付与一站式开发服务能力。

异常感知到处置的算法全面强化

1. 指标异常检测：通过时间间隔固定、具有时序特征或周期特征的时序数据进行检测，识别反常的异常点，不受历史数据中异常干扰。
2. 日志异常检测：通过日志的相似性进行聚类，对日志模板的频率变化进行检测，将未匹配日志及频率改变的日志进行告警提示。
3. 单指标异常检测优化：
   • 优化描述：指标异常检测告警过滤。
   • 优化目标：准确率94%，召回率93%。
4. 日志异常检测优化：
   • 优化描述：日志异常检测告警有效性识别。
   • 优化目标：通过对历史标注告警的学习，判断新生成的告警是否有效。
   • 优化描述：日志模式识别算法增强与异常检测模型调优。
   • 优化目标：通过优化日志模式识别提高日志异常检测准确率，同时通过异常检测模型优化提高检测时效性。
5. 多指标分析：
   • 基于数字孪生模型的多指标观测。
   • 基于FluxRank的多指标关联分析。
   • 基于数据立方模型的多维度观测。
   • 多系统多链路观测。
6. 告警管理：统一告警管理+智能告警分析。

“大模型+”创新探索

1. 基于告警知识库的告警处理方法问答：
   • 通过告警知识库，以告警信息作为触发，实现基于大模型的告警智能化流程。
   • 特征提取：通过对非结构化数据进行特征提取，结合大模型工具编排能力，提供告警分析服务，自动展示告警关联的日志原文、CMDB信息、服务治理信息查询等。
   • 知识生成：基于大模型自然语言理解与生成技术，结合用户输入需求，实现运维知识生成、运维脚本自动生成及补全等能力。

总结与展望

• 大模型探索：基于知识库文档，以告警信息作为触发，实现基于大模型的告警智能化流程。
• 智能运维算法治理：通过算法优化和治理，提升运维效率和准确性。