顾炯宸-京东春晚活动专题：DevOps 左移测试工程实践

春晚活动核心挑战

• 时间紧、任务重：测试需有效保障全链路质量。
• 玩法多变、需求多变：需洞察需求核心，把握清晰路径。
• 用户体量大、流量并发大：需保障全链路系统稳定性。
• 奖励类型多：需保障资产发放。

基于DevOps下的测试左移

• DevOps左移测试交付：决策和实践前置，提升质量保证、开发效率和上线周期。
• 用户流量全景：涵盖商业化品牌整点、预热期、高潮期、APP启动、弹窗送红包、支线送礼、免登录抽奖、互动送次数、互动送红包、APP核心资源位、东哥大奖、春晚活动、红包、黄金流程交易等场景。

春晚性能测试工程实践

• 服务端性能测试实践：包括平台化压测流程和全链路系统压测结果。
• 春晚全链路压测典型案例：
  • 修改前：场景模拟不保真，引发性能问题。
  • 修改后：模拟用户真实路径，拆解场景化量级。
• 混沌演练实践：提升系统稳定性。
• 前端域性能测试实践：包括前端域性能测试流程和典型案例。
• 跨年晚会性能测试典型案例：
  • 分析结论：3D组件在中低端机型占据整体耗时占比较多，iOS端webview加载耗时需多300ms以上。
  • 最终：放弃使用3D组件方案，iOS端在webview处理上做性能优化方案。
• APP启动链路竞品分析：
  • 分析结论：iOS耗时：京东>淘宝>拼多多；Android耗时：淘宝>京东>拼多多。
  • 最终：优化APP启动项链路和首页渲染方式。

端到端测试实践

• 端到端测试实践：站在用户角度考虑，模拟用户心理和行为，功能和控件易用性，图片渲染速率、布局样式美观，异常兜底测试。
• 全链路测试：简易系统链路，多条链路的集合，每条链路的端到端流程验证。
• UAT测试：环境准备、计划范围、账号分配、用户引导剧本、权益配置剧本、端到端模拟演练、反馈及优化。
• 资产安全保障：
  • 体验性保障：奖励展示、多端适配、离线存储。
  • 稳定性保障：奖励入账、核心路径稳定。
  • 灵活性保障：多重风控策略、资金安全。
  • 安全性保障：数据隔离、配置灵活变更。