崔宸-AI生成checklistQUNAR测试域结合AIGC提效实践

背景

去哪儿旅行面临PM、DEV、QA三方沟通效率低、需求文档质量参差不齐、自测自发需求不充分等痛点。通过AI生成Checklist可提升需求文档质量、提高QA写Checklist的效率。

设计思路和方案

• 解决方案：基于通用大模型的一键生成方式为主，辅以智能体多轮问答。
• 系统架构：包括需求文档预处理、文本解析模块、需求分析模块、项目流程集成等。
• 关键点：准确度提升、覆盖度推广、效果度量方案。
• 执行流程：获取需求文档、结构化文档并提问大模型、转换渲染为脑图、归档分析数据。
• 产品文档预处理：提取需求正文，拆分需求正文获得结构化需求点。
• 文本解析模块：圈定需求正文，提高生成准确率。
• 需求分析模块：通过prompt设计提取关键信息，生成测试点列表和示例。
• LLM选择：考虑采纳率、召回率、成本等因素，选择合适的LLM。
• 项目流程集成：融入通用case模板，通过项目管理流程入口、checklist平台手动触发或定时扫描触发自动生成。

效果评估方案

• 评估指标：采纳率、覆盖率、召回率。
• 统计口径：自动生成总节点数、完全可采纳节点数、部分可采纳节点数等。
• 方案对比：用户点击反馈、字符串匹配、基于Embedding模型匹配。
• 中文文本embedding模型：将文本转换为向量表示，捕捉语义和语法信息。

成果及未来计划

• 提效成果：每月500+个项目使用，需求覆盖率60%-70%，采纳率∝需求文档逻辑清晰程度，准确率召回率∝需求文档需求点拆分细致程度。
• 节省时间：5pd及以下需求每个节省0.1pd，5pd以上需求每个节省0.2pd，年化可节省约200pd。
• 未来计划：接入内部大模型微调、接入内部知识库、结合多模态支持解析PRD中的流程图、UI图信息。