基于ZUUL大规模通信产品集成测试左移DevOps实践

个人简介

• 刘鹏：产品经理，10+软件开发和CI、DevOps架构经验，作为诺基亚DevOps平台调度工具ZUUL首席架构师，带领团队攻克大规模CI性能及稳定性难题，提出技术方案提升研发效能和CI高可靠性。
• 谢智琦：架构师，10+大规模通信软件集成测试平台建设经验，作为ZUUL产品经理，推动ZUUL在移动网络事业部的部署和运维保障。

ZUUL在大规模软件上的实践与难点分享

基于ZUUL实现集成测试左移背景及痛点

• 背景：老工作流程效率低下，催生测试左移、新DevOps工具、流程改进等。
• 痛点：跨库依赖验证难、可视性差、产品集成中断。
• 门禁流程前问题：代码合入受问题代码影响，需等待问题解决或回退。
• ZUUL引入：基于开源社区V2版本二次开发，实现源代码左移测试和依赖项目管理控制门禁，代码需按顺序通过测试才可自动合入。

定制化Zuul架构

• 门禁流程：IndependentPipeline只拉入该Change和其依赖，DependentPipeline拉入该库所有待合并Change和其依赖。
• 左移测试与Trunk全绿：案例展示Gerrit Change A\B\C在门禁GatePipeline中运行测试。
• 定制化Zuul部署：2020-2022期间完成全部事业部部署，提高代码合入质量，主干分支代码影响降低到0，开发大量功能支持开发和持续集成效率。
• 主要交付版本：Job触发管理、性能提升、超级功能（重新触发、提高测试单子优先级）。

ZUUL在大规模软件上的实践难点

• 定制化需求：不同模块测试内容、形式不同，用户需求差异。
• 性能：高峰时期数百并行测试代码单子，对IO响应和任务分配挑战巨大。
• 差异化的CI架构：不同研发部门CI架构和流程需统一解决方案。

关键路径与最佳实践

• CI流程优化：减少总体花费时间，上游和下游需相应调整。
• 大数据库存储与刷新：记录代码提交数据和时间，生成图标，包含个数、时间、成功率、关键路径等，自动定时刷新数据。
• 价值：年上亿级数据库数据，加强CI流程监控，持续挖掘关键数据链路，为持续改进提供依据。

基于ZUUL的DevOps架构设计和未来展望

ZUUL新架构优势

• 提升性能和稳定性，支持多模块问题定位和超大日志分析。

基于Zuul的DevOps未来展望

• 挑战：新架构性能承受能力、快速增长数据库大数据量存储与管理、多上下游对服务稳定性要求。
• 方向：人工智能（自动智能答复、LLM大语言模型应用）、安全（权限管理、代码下载与权限管理、API权限管理）。

问答环节

• 常见问题：社区版本与研发版本区别、不直接使用最新社区版本原因、ZUUL适用场景。