AI浪潮下DevOps交付流水线拓展实践

享道出行的DevOps现状

• 2018-2019年：工具化阶段，项目需求管理、测试、发布处于手工ops阶段，产品交付流程不统一，难管理。
• 2020-2021年：平台化阶段，具备基础环境隔离能力、集中构建、构建过程可视化，统一发布，但系统定制功能多，不易维护。
• 2022-2023年：一体化阶段，实现精准效能洞察，采用持续交付金字塔模式，统一集测、统一发布、统一验证，问题协同、环境同步、并行环境回收、需求关联、迭代频率、分支策略等。
• 核心挑战：多项目下环境成为瓶颈，建设成本高、维护难度大，研发人力空耗，救火事件盛行。

充满挑战的新场景

• ML持续交付新场景：ML项目和享道业务应用持续交付对比，ML发布周期长、频率少，主干开发、主干发布；享道业务应用周期短、频率高，分支开发、分支发布。
• 新挑战：ML项目在CICD过程中，由于业务项目包含多并行隔离环境，导致代码无法测试。

适应新挑战的流水线方案

• 方案对比：
  • 备选方案：ML应用支持并行环境、染色隔离；业务并行隔离环境原地不动。
  • 已选方案：ML应用不隔离测试环境，仅管控模型制品版本；业务按维度筛选流水线，构建部署新的并行环境（联合并行环境）。
• 方案优点：
  • ML应用无需隔离，可切换模型制品测试；
  • 新的并行环境可用于其他APP版本测试；
• 方案缺点：新的并行环境可能导致资源吃紧。
• 核心分析：
  • 多层流水线，并行隔离环境模式与分支管理有机融合；
  • 流水线模板能力提升，支持gitflow、主干开发等复杂分支策略；
  • 明确需求测试范围，实时检测代码提交，进行API和APP自动化回归测试。
• 混合分支管理模式增强：对分支原子化操作，支持gitflow、主干开发等策略。
• CD4ML结合质量内建差异化合并：根据需求上线周期权重合并代码，合并异常及时通知，强制合并规则设置APP和API自动化。
• CD4ML结合并行环境隔离效果：实现模型提交、部署、制品控制。

总结和展望

• 总结：
  • 提前拉取、合并最新代码，搭建隔离环境，联合隔离环境可用于其他APP版本测试，提升测试效率和完整性；
  • 基础环境的完整性，ML应用模型版本控制、基础环境问题收益；
  • 业务研发和算法团队工作流程打通，ML在流水线交付过程可控；
  • 流水线类型扩展。
• 展望：
  • 资源成本：微服务部署容器过多，需聚合模式部署；
  • 模型监控观测：上线后监控实际产线数据反馈。