AI生成checklist：Qunar使用AIGC在测试域的提效实践

崔宸高级Java开发工程师 崔宸 公司职位高级Java开发工程师 2022年加入去哪儿旅行基础架构-基础平台团队，主要负责测试域工具的研发。参与过自动化测试、联调平台、写压测等项目，对录制回放场景有深入了解。 熟悉AI大模型通识，23年开始主攻AI大模型应用方向，完成AI在测试域、需求域提效的应用落地。在去哪儿AIGC HACKATHON大赛获得冠军。 项 目 背 景 目录 设 计 思 路 和 方 案 效 果 评 估 方 案 成 果 及 未 来 计 划 项目背景 写checklist耗时 平均耗时：5pd以下需求1-2h5pd以上需求3-5h 需求文档质量参差不齐 逻 辑 清 晰 ， 沟 通 效 率 高逻 辑 混 乱 ， 沟 通 效 率 低无 评 估 标 准 ， 只 能 凭 感 觉 项目背景 提 升Q A写c h e c k l i s t的 效 率 可 以 检 查 需 求 文 档 的 质 量 提 升 自 测 自 发 需 求 质 量 质 量 好 ：质 量 差 ： f ro mto f ro mto 设计思路和方案 业界参考样例 基于自有大模型及微调的一键生成方式 基于通用大模型多轮问答的方式 Qunar探索的解决方案 主要（便捷）：基于通用大模型+聚焦于需求点+集成项目研发流程中的一键生成方式 辅助（灵活）：智能体多轮问答 系统架构 执行流程 1.获取需求文档，对文本进行拆分2.结构化文档+prompt向大模型提问3.将AI返回的测试点进行转换，渲染为脑图4.归档AI生成与手动修改完的case，分析数据 产品文档预处理 为 什 么 要 进 行 文 档 预 处 理 ？ 解决方案： 原因分析： •需求文档无固定模板，规范性较低•需求文档中的无关内容影响生成效果 •需求文档预处理，提取需求正文•拆分需求正文，获得结构化需求点 文本解析模块 符合标准格式： •工程化解析需求正文及需求点列表•生成准确率高 问题： •对产品角色要求变高•QA角色获益•推进受阻 文本解析模块 圈定需求正文： •大模型解析需求点列表•预处理成本低•生成准确率高 文本解析模块 完全无格式： •大模型解析需求正文•大模型解析需求点列表•生成准确率取决于文档内容密度 需求分析模块 需求分析模块——Prompt设计 角色 能力 测试专家&语言分析专家 1，提取需求点文本的关键信息2，给出测试点列表和示例 规则 样例 1.关键信息只保留一句精炼的概括信息2.每个测试点对应一个示例3.以JSON格式输出 通过history模拟Few shot的方式来提升回答的准确率 需求分析模块——LLM选择 AI基建情况 测试用例转化模块 •项目管理流程入口触发 • checklist平台内手动触发 •定时扫描第二天进入开发中的需求，触发自动生成checklist 样例展示 效果评估模块 采纳率 覆盖率 原 始 生 成 结 果 中 用 户 选 取 自 动生 成 节 点 的 概 率采 纳 率 ：( T + 0 . 5 * P ) / A 0 按 照 项 目 维 度 统 计 用 户 使 用 情 况项 目 覆 盖 率 ： 使 用 的 项 目 数/全 部 项 目 数 统 计 口 径 自 动 生 成 总 节 点 数A 0终 版c h e c k l i s t节 点 数A 1 完 全 可 采 纳 节 点 数 T 部 分 可 采 纳 节 点 数 召回率 用 户 进 行 修 改 之 后 采 用 的 自 动生 成 节 点 与 总 结 点 数 的 比 率召 回 率 ：( T + 0 . 5 * P ) / A 1 效果评估模块 效果评估模块 中 文 文 本e m b e d d i n g模 型 是 一 种 将 文 本 转 换 为 向 量 表 示 的 技 术 ， 它 能 够捕 捉 文 本 的 语 义 和 语 法 信 息 ， 并 将 其 转 换 为 连 续 的 向 量 空 间 中 的 点 。 这 种表 示 方 式 在 自 然 语 言 处 理 领 域 被 广 泛 应 用 于 各 种 任 务 ， 如 文 本 分 类 、 情 感分 析 、 命 名 实 体 识 别 等 。 效果评估模块 效果评估模块 采纳率：(2*100%+1*50%)/5 = 50.0% 召回率：(2*100%+1*50%)/6 = 41.7% 目前效果 提效成果 •5pd及以下需求，每个需求节省0.1pd•5pd以上需求，每个需求节省0.2pd•年化可节省约200pd•填补自测自发不写checklist的缺口 未来计划 内部大模型微调01 涉及核心私密数据的需求，可以走内部大模型生成 接入内部知识库02 业务知识库：公司内部概念，黑话，历史资料等技术知识库：系统调用关系，业务代码资料等 结合多模态03 支持解析PRD中存在的流程图、UI图信息 感谢大家观看