3-朱仕智-大规模混沌工程自动演练实践

核心观点与关键数据

• 混沌工程价值探讨：通过混沌工程建立系统对生产环境中失控条件的抵抗能力，将不确定变确定。混沌工程的收益包括提升系统韧性、发现潜在故障、优化依赖关系等。
• 去哪儿网混沌工程平台：平台支持关机演练、应用演练、依赖演练等多种混沌工程实践路径，实现大规模自动演练和故障注入攻防演练。

混沌工程实践路径

1. 关机演练：

   • 能力目标：同一机房某业务线所有服务节点全部关机（单次1k节点以上）。
   • 关键点：机房聚合信息查询、自动建立沟通群、真实关机、接入告警、虚拟机开机后关联服务自动恢复。
   • 实现技术：openstack API、saltstack、自研控制面。
   • 效果数据：机房演练49次，4000+机器，500+应用，问题10+个/次；关机演练71次，3000+机器，250+应用。

2. 应用演练：

   • 能力目标：对所有应用可以选择多策略故障注入。
   • 关键点：线上环境、可靠的注入工具、丰富的演练策略、生效面可控。
   • 注入工具技术选型：ChAP、Chaosblade、ChaosMesh，其中Chaosblade因其简单易用、扩展性好、社区活跃等特点被选用。
   • Chaosblade功能：支持HTTP超时、fullGC、日志拥堵、调用点区分、全链路匹配等企业场景。
   • 演练流程：新建演练、配置参数、执行演练、查看结果。

3. 依赖演练：

   • 能力目标：对应用层外部依赖进行多策略演练，并断言强弱依赖。
   • 关键点：应用元数据采集、可视化的应用拓扑结构、区分不同场景的同一个依赖、强弱依赖关系标注。
   • 效果数据：1200+次演练，接口依赖3000+个，2021五一演练发现问题136个。

大规模自动演练

• 常态化演练：通过自动化执行的流量和断言，将人工成本降到最低，覆盖面提升到最大。
• 周期性自动演练机制：增量演练（每天演练新增依赖）、全量演练（每二周重复执行一遍）。
• 自动演练流程：配置演练、执行演练、分析结果、生成报告。
• 演练结论：不符合预期占比73%，符合预期占比27%；主要问题包括不合理的强依赖、单应用演练口径过严、自动化测试平台覆盖不足、无法全线上化。

全链路自动演练

• 全链路依赖关系：可视化展示全链路依赖关系。
• 全链路演练流量：模拟全链路流量进行演练。
• 全链路演练断言：对全链路进行断言验证。
• 全链路演练流程：配置演练、执行演练、分析结果。
• 命中率优化：通过精准策略（利用trace反查）将命中率提升到90%以上。
• 全链路自动演练效果：覆盖55个核心入口，80%以上的应用；人工成本降低至报告分析。

故障注入攻防演练

• 故障处理慢原因：处理人为各系统开发，经验难以积累；故障原因种类繁多；没有预案；恢复和验证困难。
• 攻防演练流程：故障注入、故障处理、积分排行。
• 攻防演练关键点：培养混沌文化、时间和策略随机、信息干扰（异常栈、流量标识等）。