京东-张爱芸-京东数据测试平台质效建设实践

讲师简介 京东效能运营研发部资深技术产品经理 2015年加入京东，先后主导过集团大数据平台建设、集团统一AB实验平台、集团统一DevOps平台产品建设，有较丰富的从0-1产品搭建经验。目前主要深耕DevOps测试域效能工具平台（数据测试平台、测试物料平台等），专注于解决测试痛点，提升测试效率 目录 2从零到一的数测平台建设之路 3实践成果展示 4案例复盘与总结 探索方向与未来展望 目录 数据测试是什么？ 数据测试是对数据质量、完整性、一致性和准确性等方面进行验证和评估的过程。 测试范围 测试定义 •数据表•BI报表•数据接口服务•数据看板 •数据测试VS大数据测试•数据测试VS数据质量 数据测试与传统测试的区别 存在哪些问题？ 人少活多，质量问题频发，很难得到全面的保障 现状 方法的问题 人的问题 流程的问题 •多靠手动SQL查询，效率低•个性化的脚本自动化很难赋能所有业务•测试资产无法沉淀，无法传承•研发很难自助自测，测试压力大 •人力资源不足•经验不足•专业知识储备不够•缺少资料学习•业务理解深度不够 流程不规范、不统一 •各业务测试流程不统一•研发与测试合作的流程不规范 工欲善其事，必先利其器 目录 2 从零到一的数测平台建设做了什么，解决了什么问题 平台建设思路 服务化（未开始） 自动化 标准化 线上化 目标：赋能更多平台和业务，全面开花 目标：前人栽树，后人乘凉，建立京东标准的数据测试规范流程 目标：提升测试效率 目标：所有测试过程可视化，测试资产线上化 举措：测试能力自动化（自动生成用例、自动比对结果等、自动数据探查等） 举措：将平台能力以服务化方式，接入DataOps或更多平台 举措：沉淀最佳实践，打造最佳测试流程 举措：流程线上化——测试计划能力线上化——用例管理 全面覆盖数据测试场景，达成自动测、人人测、持续测、尽早测的目标 线上化是平台助力业务提效的第一步——能力线上化 线上化是平台助力业务提效的第一步——能力线上化 线上化是平台助力业务提效的第一步——流程线上化 自动化是帮助业务提效的重要手段——面向测试 1、很多的基础用例其实是通用的，重复的（零值、空值、明细比对等） 问题 2、人工比数费“眼”，跨库比对费“劲” 3、脚本各自维护，无法赋能 自动比对 自动生成 自动执行脚本 •单表自动比对 •用例自动生成 •支持在线编辑脚本•支持脚本用例执行 www.top100summit.com 自动化是帮助业务提效的重要手段——面向研发的数据探查 数据探查 数据比对 场景：模型变更 场景：新模型上线 单表探查： 数据对比： •表规模•字段质量 •明细对比•数据规模对比•表结构对比 自动化是帮助业务提效的重要手段——面向研发的服务探查 服务探查 服务探查： •自动探查各种指标维度•支持单用例重跑 www.top100summit.com 标准化是业务提效的重要保障——全链路测试流程标准化 是什么让我们在短时间内，快速完成平台的搭建并顺利落地？ 平台建设亮点——以用户为中心，用户既是参与者，又是受益者 有些用户会说共建的不是专业的工程师，代码质量会不会不好，时间会不会不能保障？无法长时间投入，后续出BUG怎么办？共建原则：5个一（一套代码库、一套数据库、一个产品经理、一个架构师、一个Backup） 平台建设过程中遇到的挑战 数据安全要求严 产品设计要求高 运营推广常受阻 挑战： 挑战： 挑战： 平台涉及大量用户数据，也有可能有敏感数据，需要保障数据安全，并符合审计要求 业务种类多，测试场景多，对产品能力的通用性、全面性有较高要求 用户习惯、平台体验没有做“好”就去推广时，多轮受阻 解法： 解法： 解法： •全面严格的数据权限控制（查看、编辑、执行等），且所有操作均要留痕•采用加密技术、访问控制等手段，确保数据在传输和存储过程中的安全性。•定期进行安全审计和漏洞扫描，及时发现并修复潜在的安全风险。 •前期做好充分的调研，保证产品在设计的过程中，尽可能通用，覆盖较多用户的场景•提供通用的个性化测试能力——脚本•更为个性的可以采用共建集成的方式接入平台 •深入了解用户需求和行为习惯，优化产品设计和服务流程。•定期收集用户反馈，及时改进产品和服务。•借助数据分析，持续优化用户体验，提升用户满意度 3 实践成果展示 效率提升 质量保障 流程标准化 在零售实现80%的渗透率，测试效率有明显的提升： 完成了标准的测试流程、研发自测流程及定时巡检流程的建设，并成功在集团各个BG试点推广落地 近半年发现问题近100个 •50%的用例自动生成•60%的用例自动断言，节省验证时间•数据需求测试周期缩短10% 需求线上化率达到60% （需求线上化率=使用线上平台测试的需求数/总提测数据需求数） 4 那些年踩过的坑 执行引擎的稳定可靠 生成引擎对数据库的兼容性 执行引擎负责平台提交的各类型数据库查询语句的统一执行及结果的返回，这里也曾经遇到过一些问题，比较严重的，就是因为数据量过大导致了服务异常 生成引擎负责生成一些通用检查点的SQL，同时也会基于用户提交的SQL，生成对应的测试用例，用户使用过程初期有几个问题： 1、不同数据库类型，有些函数不兼容，要采用不同的策略进行处理 解法： 2、不同数据库类型，有各自复杂的字段类型，很难统一处理 1、平台增加查询数据量的限制2、超过一定阈值后，平台采用文件的方式传输 解法： 充分调研之后，对不同的字段类型、用到的函数进行精细化处理 启示：细节决定成败 5 探索方向与未来规划 未来计划 AI智能赋能 深耕数据安全 用户体验打磨 基础安全到位后，对于隐私数据的判断、加密等仍需要进一步深入优化. 平台尚年轻，还需多磨练 平台性能提升 持续集成与交付 探索大数据量处理的能力，并尽可能提升已有执行效率，降低用户计算资源的消耗 将数据测试，打通到数据需求交付的平台，做到数据开发的持续集成与交付，形成DataOps 探索实时数据测试 实时数据测试标准测试方法的探索与实践 微 信 官 方 公 众 号 ： 壹 佰 案 例关 注 查 看 更 多 年 度 实 践 案 例