辛新-自动化测试的智能化转型探索与实践

辛新 中国邮政储蓄银行软件研发中心副处长 辛新 公司职位副处长 资深测试专家，现任中国邮政储蓄银行软件研发中心测试处副处长，星辰平台金牛座自动化测试系统项目负责人，主导中心自动化测试体系和能力建设。 自动化测试痛点分析 01智能生成 02 智能调度 目录 03 智能分析 04智能度量 05未来展望 单接口测试脚本智能生成 利用大模型批量生成单接口自动化测试脚本，解决单接口测试脚本编写量级较大的问题。 单接口测试脚本智能生成（续） 实践心得一，模型选型：选择常用的模型进行评估，根据评估结果和资源情况进行最终选型。 选型建议 1、同一系列的模型，参数量级越大，效果越好，但消耗的资源也越多，且超过一定量级后，效果提升不明显，建议根据现实的资源情况选择合适的参数量级；2、不同系列的模型，需要针对性的调整提示词，且生成效果存在差异，建议根据所选模型调整提示词。 实践心得二，两步生成设计： 1、经试验，分步生成比单步直接生成效果更好；2、可以让测试人员对中间生成的测试用例进行调整。 UI测试脚本智能生成 根据测试用例描述及UI页面，利用大模型逐步分析下一步动作，最终生成UI测试脚本。 UI测试脚本智能生成示例 分布式执行的挑战 自动化测试平台目前支撑行内200多个系统的自动化测试实施，为支撑大量并发，采用了分布式、配合调度策略的执行方式。 自动化测试任务具有随机发起、动态变化的特点。 如何设计调度策略，可以实现执行节点资源利用率的最大化？ 智能调度应用落地 人工分析成本高 自动化测试脚本执行失败原因多样，测试人员需要根据报错信息、脚本执行日志、被测系统日志甚至关联系统日志来定位具体的失败原因，对测试人员的技能水平要求较高，沟通分析成本较高。 失败原因分类与规则库建设 基于规则库分级匹配，对脚本执行的历史失败原因进行分析归类，并建立相应的规则库，作为自动分析定位失败原因的数据基础。 自动化测试收益 扩大回归范围 自动化测试覆盖率高，回归测试的范围越大，上线质量越有保障。 缩短交付时间 自动化测试执行速度快，可实现快速反馈，缩短软件发布周期。 自动化测试收益量化 人效替代 投资回报率 某手机银行转账流程 节省人日=𝐀×𝐀−𝐀−𝐀 测试人员手工测试时间（T）30分钟，该流程实现自动化测试脚本建设花费时间（D）480分钟。 举例流程执行1次：节省人日=（30*1-480）/60/8=-0.935人日成本回收转折点：节省人日>0优势：更为直观的度量自动化测试带来的收益。 举例流程执行1次：ROI=30*1/480=0.0625成本回收转折点：ROI>1优势：业界通用。 度量本身也有成本 投入 产出 DM 纯手工 人工线下记录一段时间内的自动化测试投入时间，收集汇总。 历史经验估算：（根据精确度要求调整） ×工作量大×数据不客观×数据格式不统一 Ø同系统手工执行时间均值Ø同系统、同用例类型手工执行时间均值Ø…… 半自动 填写工作日报，从日报中提取自动化测试投入时长。 ×工作量较大×数据不客观 根据用户操作进行埋点，自动采集投入时长。 全自动 ü无感，没有额外工作量ü数据准确、客观ü可精准到每个脚本的投入，最小时间单位为分钟 埋点方式采集数据 前端埋点 ü更精准：密集埋点，可配置时间间隔，采集更精准 ×维护成本高：需要上报埋点的操作多，需要修改多处代码×影响前端性能×埋点有丢失：如浏览器直接关闭等原因导致埋点数据不完整×计算逻辑复杂：需要处理开会、休息日等特殊情况 ü更全面：接口与页面操作存在一对多关系，在接口层配置，减少遗漏 ü更灵活：可配置需要埋点的接口列表 ü成本低：通过切面技术，统一管理埋点操作 ü无感知：对用户操作无影响 后端埋点 星辰平台金牛座自动化测试系统 未来展望 1、落地大模型智能生成UI自动化测试脚本的设想；2、持续推广智能生成等技术在项目中的广泛应用；3、通过模型微调、检索增强等技术，持续优化脚本生成效果；4、收集执行日志及错误报告进行训练，优化现有智能分析效果。 持续做优 探索智能技术在自动化测试领域更多的应用场景： Ø精准测试+智能化=>定制自动化测试执行策略Ø缺陷检测+智能化=>自动给出解决方案Ø…… 拓展广度 焦烨 辛新 赵薇 李星 感谢大家观看