从 DevOps 到 BizDevOps，业技融合重塑数字化转型核心能力

1-5-10故障治理体系根因分析快速定位落地实践

故障治理1-5-10框架

• 背景：存在故障率居高不下、故障处理超时率高、故障发现与定位慢的问题。
• 定义与度量：从单一责任方数据呈现转向责任方与受影响方各自呈现，单一故障率维度指标与MTBF、MTTR指标并重，结果指标与过程指标共同呈现。
• 实施策略与工具：目标在故障期间5分钟内定位根因，优先级为1分钟发现、10分钟恢复，5分钟定位。
• 经验总结：用户期望top 1结果准确，但根因分析有一定概率问题，top3或top5有提示辅助作用即有价值。

根因分析产品设计与效果

• 设计目标：准确率高（宽口径top5、窄口径top20）、干扰低（去除误报、闪报）、精准快速触达（故障场景自动推群、告警页面自动展示结果）。
• 功能实现：
  • 故障时根因结果自动推群：自动建群并拉根因机器人进群时，系统自动分析并推荐相关报告。
  • 告警自动展示根因结果：用户跳转到告警页面时，自动展示已完成的分析结果。
• 根因准确率：展示相关数据图表。

根因分析架构设计与落地难点解决

• 架构设计思路：模拟研发同学定位问题，包括圈范围、找异常、列数据、定权重、给根因。
• 应用维度异常分析：KVM/容器CPU、网络异常，JVM full GC异常，单机分析（宿主机、runtime），应用分析（mysql、redis、middleware等）。
• 单机分析：通过kSigma斜率、相似性、异常日志单机占比等方法筛出异常点。
• 权重模型：包括静态权重（经验权重）、动态权重（严重级别升级）、强弱依赖权重。
• 落地难点及解决策略：
  • 基础指标干扰多：通过人工治理、自动识别无效告警、去除无影响指标等方法解决。
  • Trace筛选应用复杂：通过业务优先级筛选、Timer类型告警分析策略、通用分析策略等方法解决。
  • 根因事件定位难：通过修改图算法库解决有环问题，复用tctrace的“获取调用链路”功能。
  • 故障根因准确率低：结合大模型进行故障信息提取、报告筛选、根因分析，提升准确性。
• 经验总结：业技融合，业务特征数据准确，拥抱大模型提升故障场景中的关联关系筛选能力。

未来规划

• 提升根因与预案、演练等系统结合度，实现动态结合并按优先级推荐预案。
• 提升故障宽口径、窄口径准确率，通过提升基础数据准确率、优化大模型提示词模版、更好模型等方法。