刘鑫-AI辅助测试开发领域端到端流程提效实践

背景与问题

随着FTTR组网的应用，系统测试面临更复杂和高效的挑战，尤其在运营商客户强定制和短交付周期下，测试效率成为关键问题。主要痛点包括测试用例冗余、迭代内需求用例交付速率不足、脚本开发效率低以及自动化覆盖率瓶颈。

解决思路与方案

对比大模型应用方案（提示工程、RAG、精调），RAG方案因私域知识频繁更新成为最优选择。提出改进思路：将AI能力嵌入研发流程，围绕知识工程建设持续改进AI应用。具体方案为建设一站式FM一体化AI测试平台，聚焦测试域高价值AI应用（测试设计、脚本开发、执行分析），并基于测试执行业务流拓展AI应用场景。

知识工程建设

知识工程建设思路基于标准流程，以大模型为核心，结合AI应用持续建设并沉淀知识库。包括知识规范、知识获取、知识建模、知识库建设、知识评估和知识应用等环节。知识库涵盖测试点、文本用例、关键字、要素因子、产品能力、失败特征、问题分析、环境运维等要素。

具体实现与技术实践

实践一：AI辅助测试设计活动提效

• 复用用例推荐：通过关键字检索和语义检索召回相似测试点，获取复用用例。实现方案包括知识规范、知识获取（人工治理和自动化抽取）、知识库建设（向量知识库）和知识评估（召回率计算）。
• 文本用例生成：基于RAG检索相似用例作为文本用例生成的few-shot，提升生成质量。实现方案包括RAG方案介绍和度量驱动改进。

实践二：AI辅助脚本开发活动提效

• 关键字推荐：基于Robotframework框架，通过意图识别、步骤拆解和关键字查找提高效率。实现方案包括知识规范、知识获取（直接获取、自动化抽取和在线获取）、知识库建设、知识评估和知识应用（意图识别、DSL转化、步骤切割、关键字推荐、脚本生成）。
• 度量驱动改进：定义复用用例召回率和文本用例生成率两个关键指标，持续优化知识库和RAG方案。

总结与展望

实践价值：创新性、前瞻性、用户体验提升，用例交付和脚本交付效率显著提高。适用性广，可扩展性强，已实现跨项目推广和规模应用。 未来展望：通过自生成、自校验、自修复提升知识迭代反馈速度，实现流程自动化，支撑研发流程合并，降低人工参与度。完成需求到版本发布测试活动的三个流程自动化：需求分析自动化、脚本执行自动化和测试分析自动化。