顾炯宸-京东春晚活动专题：DevOps 左移测试工程实践

京东春晚活动专题——DevOps左移测试工程实践 顾炯宸测试架构师 顾炯宸 京东测试架构师 •GOPS2021全球运维大会金牌讲师•中国信通院《研发运营一体化（DevOps）能力成熟度模型》编写专家•2018年加入京东，曾2次主导参与2022年和2024年京东央视春晚项目的质量保障工作，负责京东零售体系下营销场域项目的质量交付。 01春 晚 活 动 核 心 挑 战 02基 于D e v O p s下 的 测 试 左 移 03春晚性能测试实践 04端到端测试实践 PART 01 春晚活动核心挑战 春 晚 活 动 核 心 挑 战 p时间紧，任务重。测试如何有效的保障全链路质量？ l基于DevOps下的测试左移实践 ü质量保证ü开发效率ü上线周期 p玩法多变，需求多变。 如何洞察需求核心把握清晰路径？ l性能测试实践 ü系统响应时间ü系统稳定性ü页面加载 p用户体量大，流量并发大。 如何保障全链路系统稳定性？ l端到端测试实践 ü链路级质量范围ü用户体验ü全流程业务 p奖励类型多，共10余种奖励。如何保障资产发放？ PART 02 基于DevOps下的测试左移 2 . 1 D e v O p s左 移 测 试 DevOps左移测试交付——决策和实践前置 2 . 1质 量 左 移 测 试 策 略 2 . 2用户流量全景 商业化品牌整点 预热期 高潮期 APP启动 弹窗送红包 支线送礼 免登录抽奖 互动送次数 互动送红包 APP核心资源位 东哥大奖 春晚活动 红包 黄金流程交易 PART 03 春晚性能测试工程实践 3 . 1服 务 端 性 能 测 试 实 践 3 . 2全 链 路 压 测 流 程 介 绍 平台化压测流程 全链路系统压测结果 3 . 3春 晚全 链 路 压 测 典 型 案 例 修改前：场景模拟不保真，引发性能问题 模拟场景：请求春晚活动首页接口会同时处理触发5种弹窗逻辑（场次首访、高潮期首访、3大支线） 修改后：模拟用户真实路径，拆解场景化量级 调整模拟场景：同时触发所有弹窗的场景占比1%；调整3大支线弹窗的命中处理1%；调整hessian序列化实现机制； 3 . 4混 沌 演 练 实 践 3 . 5前 端 域 性 能 测 试 实 践 3 . 6前 端 域 性 能 测 试 流 程 介 绍 3 . 7跨 年 晚 会 性 能 测 试 典 型 案 例 3 . 8跨 年 晚 会 性 能数 据 分 析 分析结论： 最终： 1、放弃使用3D组件方案2、iOS端在webview处理上做性能优化方案。缩小300ms差距 1、3D组件在中低端机型占据整体耗时占比较多2、webview加载在iOS端比较Android耗时需多300ms以上，但整体iOS性能较好 提升用户体验 3 . 9A P P启 动 链 路 竞 品 分 析 3 . 1 0A P P启 动 链 路 竞 品 数 据 分 析 分析结论： 1、从启动图加载—>APP首页首屏全部渲染：ØiOS耗时：京东>淘宝>拼多多；ØAndroid耗时：淘宝>京东>拼多多 2、阶段渲染耗时分析： Ø京东：启动图时间长—>楼层多加载方式慢—>数据素材多，图片网络加载影响渲染时长。Ø拼多多：优先加载骨架屏—>数据缓存—>最新数据更新。 最终： 1、优化APP启动项链路2、优化APP首页渲染方式 提升用户体验 3 . 1 1启 动 项 降 级 演 练 PART 04 端到端测试实践 4 . 1端 到 端 测 试 实 践 站在用户角度考虑 •模拟用户心理和行为•功能和控件易用性•图片渲染速率、布局样式美观 异常兜底测试 •特殊场景/边界场景的用户体验•异常情况的交互体验•异常情况的多重兜底 4 . 2端 到 端 测 试 实 践 全链路测试 简易系统链路 多条链路的集合，每条链路的端到端流程验证 •业务链路的用户界面、后端服务、缓存和数据库、外部依赖•调用链路的系统完整性、协同性、稳定性 UAT测试 •环境准备à计划范围à账号分配à用户引导剧本à权益配置剧本à端到端模拟演练à反馈及优化•多轮600人规模的内部测试•预热期的公开测试•权益、用户、异常、策略全链路覆盖 G O P S全 球 运 维 大 会2 0 2 4 ·深 圳 站 4 . 3资产安全保障 体验性保障 稳定性保障 ü奖励展示：支持用户在多个位置查看个人权益。ü多端适配：支持全民参与，高中低端手机设备全面适配。ü离线存储：html/js/css/图片等静态资源离线存储，提升加载速度，减少带宽消耗。 ü奖励入账：数据高可靠。多种类型权益提供统一的错误兜底机制。ü核心路径稳定：资源扩容，限流、熔断、降级等。 灵活性保障 安全性保障 ü多重风控策略：限制黑产。保护用户抽奖权益。ü资金安全：幂等、对账、监控、告警等机制，不多发不少发。 ü数据隔离：支持压力测试、内部测试、公开测试、正式春晚多阶段奖励发放与展示的数据隔离，互不影响。ü配置灵活变更：支持运营端配置实时变更、实时生效。 高效运维社区DevOps时代 荣誉出品 感谢大家观看