海量异构业务下的AIOps落地要点实践

AIOps落地要点实践

AIOps建设挑战

AIOps的核心目标是保障业务连续性，确保系统正常高效运作。AIOps落地难的本质在于运维领域对“确定性”的要求与AI泛化带来的“不确定性”之间的冲突。

打破数据边界

• 数据治理的重要性：未打破数据边界的AIOps工具如同用AI方法“降噪”，而真正有效的AIOps需要融会贯通各类运维数据，构建“活的”IT系统架构。
• 数据基础建设：通过指标、日志、调用链、业务对象、服务拓扑、资源拓扑等数据的统一治理，实现数据融合与图谱构建。
• 技术实现：采用统一协议与数据标准，利用CMDB、BCS、容器服务、可观测平台等技术，结合eBPF、APM、指标日志告警等数据源，通过清洗、聚合、融合、链接、入库、缓存、窗口、快照、归档等技术手段，实现数据的实时更新与增量存储。

打破算法边界

• 算法挑战：AIOps不仅是算法问题，更是一个具有AI特性的综合工程问题，面临概念漂移、数据漂移、模型适应性等挑战。
• 持续学习：采用主动学习+增量训练的模型训练模式，包括离线全量训练、离线分组训练、监督预训练等，并结合用户反馈进行模型优化。
• MLOps支持：支持MLOps生命周期，实现模型开发、持续训练、制品构建、持续部署的流程化，通过平台工具实现离线与在线持续训练。

打破场景边界

• 运维大模型应用：探索运维大模型在掉线分析等场景的应用，通过LLM分析掉线原因，结合智能异常检测、维度下钻、自动代理、结果生成等技术，提升分析效率。
• 工具与参数优化：通过格式描述工具、输出描述参数、LLM-Agent调用工具等方式，优化LLM的调用与参数生成，减少幻觉生成和错误调用。

关键数据与案例

• 装箱优化案例：某游戏业务集群通过深度强化学习进行装箱优化，释放10个nodes（占比13%），释放CPU 775core（占比13.56%），释放MEM 2.32TB（占比13.67%）。
• 算法对比：遗传算法与深度强化学习在装箱优化中的对比，深度强化学习（全量预测）和（增量预测）在释放资源、迁移成本、预测耗时等方面表现更优。

研究结论

AIOps的落地需要打破数据、算法和场景边界，通过数据治理、持续学习、MLOps支持和运维大模型应用，实现高效、精准的运维自动化与智能化。