韩威-京东 DevOps 平台测试域能力与平台建设实战

韩威资深架构师 2015年加入京东，专注于解决测试痛点，提升测试效率。先后主导集团级测试管理平台、自动化平台、测试物料平台的设计开发，目前作为京东测试效能领域专家，负责集团测试域效能平台的统一化建设。 测试工具的演进过程业务规模驱动下的平台演进与组织变革 01 测试平台的精品打造垂直领域精品打造，水平链路高效串联 目录Content 02 多端测试的工程实践基于场景的测试一站式解决方案 03 探索方向与未来展望从自动化走向智能化的探索与展望 04 01 测试工具的演进过程 业务规模驱动下的平台演进与组织变革 京东20周年的发展历程 业务规模驱动下的平台演进与组织变革 业务规模快速扩张的场景下—— 测试人员如何跟上组织发展的脚步？ 业务发展对测试人员的要求 业务发展对测试平台的要求 易用性 高效性 扩展性 模块化，配置化，易于扩展 平台演进：从野蛮生长到规范统一 组织变革：专业性导向的组织变革 测试工具的精品打造 垂直领域精品打造，水平链路高效串联 垂直领域精品打造，水平链路高效串联 业务赋能 DevOps链路能力 •覆盖零售核心业务场景•支撑零售云业务•支撑商业化项目 •自动执行冒烟测试、回归测试•批量完成云真机兼容性测试•智能录制、编排，自动监控提报缺陷 •中间件、接口自动化，流量录制回放•UI、云真机测试、移动端自动化•Hive、CK、ES等数据自动化测试 •打通测试流程管理•接入测试流水线•接入部署编排 垂直领域测试工具的精品打造 UI自动化 场景覆盖：适用web，H5场景下的回归测试；日常业务监控、自动化bug提报、自动修复验证。 场景覆盖：全面覆盖零售业务黄金流程——购物车、结算页、订单、商品、库存、促销、售后等。 能力优势： 横向互联：与测试环境、行云部署、流水线、行云测试管理联动，实现服务端测试场景化互联互通。 •智能录制策略，运行稳定，元素定位准确率95%。•提供Flow流编排能力，脚本易于组装。•在线IDE智能提示，实时编译。 项目实践：支持618、双11大促线上巡检。支撑零售云及商业化等项目。 2 0 2 3 D e v O p s国 际 峰 会暨B i z D e v O p s企 业 峰 会·北 京 站 垂直领域测试工具的精品打造 场景覆盖：京东全业务场景——直播、活动、首页、搜索等300多种京东核心业务。 场景覆盖：数据完整性、准确性、一致性检查；单表比对、多表比对；规范检查；业务逻辑测试。 云真机覆盖：Android、iOS、鸿蒙等100+云真机，支持批量控制，实现实时交互的同时，提供丰富工具辅助测试。 数据源覆盖：Hive、ClickHouse、Elasticsearch、Doris、Druid、MQ、Mysql。 自动化能力：自动化数据探查；SQL规约扫描；单表、多表异常测试及Diff测试的自动化断言。 自动化能力：覆盖率测试、MonkeyTest（APP崩溃）、遍历自动化（UI异常）、异常兜底测试等12项自动化能力。 2 0 2 3 D e v O p s国 际 峰 会暨B i z D e v O p s企 业 峰 会·北 京 站 水平链路研发流程的高效串联 跨环节协作缺失自动化流转，消耗大量线下沟通成本，影响全局效率 水平链路研发流程的高效串联 多端测试的工程实践 基于场景的测试一站式解决方案 基于场景的测试一站式解决方案 •研发提测自动触发准入流水线•部署发布自动触发回归测试 •自动化原子接入流水线平台•自动化原子接入部署平台•功能测试原子能力编排 横向研发链路深度打通 流程断点打通 自动状态流转 沉浸式体验 •微前端组件，深度融合，减少跨平台操作 •提供测试原子能力，实现跨平台的链路自动化 •流程断点梳理，高频操作一键直达 •工具流自动触发需求流状态变更，无需人工操作 测试规范化与最佳实践 服务端自动化测试最佳实践 测试阶段（多种原子自动化能力） 发布阶段（部署编排+自动验证） 准入阶段（环境部署+准入测试） 2、添加相应平台的自动化用例 3、执行用例，自动生成测试结果 2 0 2 3 D e v O p s国 际 峰 会暨B i z D e v O p s企 业 峰 会·北 京 站 移动端自动化测试最佳实践 回归阶段（UI遍历+稳定性+标准兼容性） 测试阶段（云真机+兼容性） 准入阶段（UI遍历+稳定性） 2 0 2 3 D e v O p s国 际 峰 会暨B i z D e v O p s企 业 峰 会·北 京 站 大数据自动化测试最佳实践 大数据自动化测试最佳实践 数据探查 单数据测试： 单表： •单表数据检查•表规模检查 •新表研发自测•线上探查分析 多表： 多数据对比：多表一致性对比检查点：表格式、空值、零值、明细、自定义 •数据对比•一致性校验 探索方向与未来展望从自动化走向智能化的探索与展望 从自动化到智能化的探索与展望 Thanks DevOps时代社区荣誉出品