王植萌-面向故障场景的稳定性建设

基础架构团队稳定性建设现状及问题总结

技术稳定性建设的现状及遇到的问题

• 背景：服务稳定性是公司业务持续发展的保证，当前存在度量体系不完善、基建服务韧性不足、跨团队依赖治理问题、人员专业能力下降、工具平台未充分发挥作用等问题。
• 解决方案：优化故障度量指标（从故障率到1-5-10体系）、提升基建服务韧性（自愈、预案、演练）、治理强弱依赖关系、加强应急响应能力、利用工具平台提升效率。

稳定性相关案例与启发

• 度量体系优化：从单一责任方数据呈现到责任方、受影响方分别呈现单一故障率维度指标，再到故障率与MTBF、MTTR并重，结果指标与过程指标共同或分别呈现。
• 秒级监控：监控从分钟级提升到秒级，报警从手工添加到雷达自动报警，显著缩短重要故障发现时间（从3-4分钟到1分钟以内）。
• 自动化定位：通过监控与事件结合、根因分析分层（链路、appcode、根因排序），实现故障定位自动化。
• 基建能力建设：包括基础设施机房级自愈能力、常态化容量评估、流量日历评估、常态化压测。
• 工具平台转型：从工具向管家转变，重点关注流程跳步问题。
• 强弱依赖治理：通过内部与外部视角对齐、责任方与受影响方并重，确保依赖关系可维护、可降级、可交接、可提供资源。

总结与思考

1. 从故障率为中心到1-5-10为中心的稳定性建设，代表了对稳定性更高的可度量要求。
2. 稳定的压测、演练、预案、监控、Trace、染色、容量评估等基建是构建1-5-10指标可达成的基础。
3. 基建需要通过演练做好自愈能力、防御能力确认以及及时的容量评估和压测。
4. 业务需要通过演练做好强弱依赖关系确认与错误强弱依赖关系的及时发现。
5. 在缺少常态化演练的情况下，故障减少未必是好事，人需要通过攻防演练变得熟练。