去哪儿预发平台的设计与实践 - 李景康

预发平台落地实践总结

预发平台背景

• 挑战：旅游行业规模扩大，系统稳定性要求提高，变更风险高。70%的生产事故由部署变更触发，变更频率降低但影响变高。
• 典型案例：网络安全公司CrowdStrike技术更新失误导致微软蓝屏，经济损失超10亿美元。
• 目标：通过控制影响范围和评估影响，降低变更风险，提高系统稳定性。

预发平台价值

• 人：提升用户稳定体验，提前发现问题。
• 流程：优化变更流程，降低变更风险。
• 系统：通过流量控制和链路完整性提升保障系统稳定。

预发平台原理和设计

• 整体方案：流量染色和流量路由，实现精细化管理。
• 流量染色方案：给用户流量打标，保证路由正确性。
• 流量路由方案：
  • 硬路由：物理隔离，成本高、资源消耗大。
  • 软路由：逻辑隔离，成本中、资源按需使用。
  • OpenResty改造：服务感知和路由，支持集群转发和规则匹配。
  • dubbo改造：服务感知和路由，支持环境变量和染色标识。
• 可观测性方案：
  • 问题发现机制：提升问题发现和定位能力。
  • 链路排查可视化：通过qtracer客户端和平台改造，区分预发和线上环境。

预发平台落地实践

• 使用流程：
  • 嵌入项目流程，适用于重要变更项目。
  • 准入标准：质量门禁+应用准入校验。
  • 环境交付流程：自动化工作流提升效率。
  • 多入口支持。
  • 风险预案：一键回退机制。
• 使用效果：发现和降低13个问题和风险。
• 典型案例：
  • 基础层变更案例（OR升级）：uid级别灰度验证降低风险。
  • 混沌演练案例：复用平台机制提高演练有效性。

未来展望

• 数据隔离：降低预发验证过程中的数据污染风险。
• 质量体系建设：以平台为载体构建质量体系。
• 预案演练：提高演练有效性，降低风险。
• 自动化测试：真实链路和数据进行回归测试。
• 性能测试：增加自动化性能测试保障链路性能。