匡宏宇-大语言模型时代需求自动追踪技术

需求自动追踪技术背景与发展

• 需求可追踪性是指软件系统中各类制品（如需求、设计、代码、测试等）之间基于系统功能的显式语义关联，其核心是概念指派问题，即将模糊的人脑概念与明确的代码元素关联起来。
• 需求可追踪性的价值在于提升软件开发质量和效率，帮助开发者快速理解已有代码和开发任务，提高软件维护和演化的正确率和效率，并在质量保证、系统安全、缺陷定位等方面发挥重要作用。
• 需求可追踪性的发展历程：从1968年概念探索，到1970-1980年代的开发实践，再到1994年正式定义并成为软件开发规范，以及如今走入日常开发。
• 需求可追踪性成为软件开发规范的原因：“爱国者导弹失败”事件暴露了缺乏需求可追踪性的问题，推动了其在软件开发中的应用。
• 需求可追踪性走入日常开发面临的挑战：人工实现成本高，难以“广泛存在”，需要引入自动化分析技术构建高效、可信的需求自动追踪技术与工具。

LLM时代需求追踪的重要价值

• 需求可追踪性对软件开发的价值：以知名软件产品和公司案例说明，需求可追踪性能够帮助快速定位功能、实现系统重构、构建软件产品线模型等。
• 需求可追踪性在大模型时代的作用：大模型的出现需要开发过程数据资产化，而需求可追踪性是开发数据资产化的关键，能够帮助理解代码，支持构建专用大模型。
• 需求可追踪性对大模型应用的价值：大模型在特定开发任务上的应用依赖于专用数据，而需求可追踪性能够帮助构建高质量数据集；通用大模型难以直接回答特定问题，需要依赖有效的Prompt引导，而需求可追踪性能够支持Prompt引导。
• 需求可追踪性与LLM结合的前景：有效应对软件开发的复杂化，提升开发效率，增强企业业务创新能力。

基于LLM的需求追踪技术初探

• 需求追踪的本质问题：概念指派，即将模糊的人脑概念与明确的代码元素关联起来。
• 已有自动追踪技术的本质与趋势：主要包括基于信息检索、基于机器学习和基于深度学习的方法，这些方法都致力于挖掘用户开发的已有软件制品所包含的系统语义，并优先降低用户追踪成本。
• 基于信息检索的自动追踪生成技术：通过文本预处理、计算文本相似度生成候选追踪列表，并进行分析和优化，优点是方法直观、可解释性强、可扩展性强，缺点是语义鸿沟、单词失配、对上下文和语义理解能力有限。
• 基于机器学习的自动追踪生成技术：通过特征提取、模型训练和预测追踪线索，优点是模型简洁、可解释性较好，缺点是需要先验知识、对复杂问题的解决能力有限。
• 基于深度学习的自动追踪生成技术：通过词嵌入和神经网络进行文本预处理和追踪线索预测，优点是减少特征工程需求、更好的进行上下文与语义理解，缺点是对计算资源需求较高、模型可解释较弱。
• 自动追踪技术演化趋势：从信息检索技术和传统机器学习方法，到深度学习技术，再到开始尝试使用LLM。
• 自动追踪目标制品：从传统的文档（需求、设计、软件等）扩展到代码库制品（Issue、Commit等）。
• 基于大模型的需求自动追踪进展：基于GPT3.5的Prompts设计目标模型进行需求追踪，在小系统上取得了较好的效果，但存在漏掉相关trace和随机性等问题。
• 基于大模型提示工程的需求自动追踪：大模型具备一定的制品追踪能力，但有限，与已有自动追踪技术结合可能是更好选择。
• LLM + 需求自动追踪展望：大模型的技术特性包括计算层面的概率模型采样和产品层面的“柔性”数据库查询，但也存在“幻觉”问题；需要接受大模型的不确定性，融合多种输入源，训练专用大模型，引入领域模型和奖励模型，并在人循环中进行反馈。
• LLM + 需求自动追踪后续工作展望：包括LLM-RAG、LLM-Prompt、LLM-Finetuning、BERT-Prompt Template等方向。

本人代表研究简介

• 近十五年自动追踪研究分布：主要集中在信息检索式方法、学习式方法，以及面向传统制品和软件仓库制品。
• 基于代码依赖分析的检索式方法增强：CLUSTER'方法通过少量用户判断和代码依赖分析有效改善检索式方法精度。
• 基于共识词对的检索式方法增强：TAROT和TRIAD方法通过引入软件追踪共识词对，在多个实验系统上提升了检索效果。
• 基于共识词对的跨语言需求追踪：AVIATE方法在多翻译变体上抽取共识词对增强文本并设计优化策略，提升了跨语言需求追踪效果。
• 基于增强预处理的学习式方法：SPLINT方法通过基于已知的Issue-Commit对进行自动化追踪，并基于类别平衡和自学习技术预处理数据进行分类优化。
• 探索中工作：使用BERT预训练语言模型进行基于制品文本的自动追踪，并基于历史Issue的Component标签构建分类模型，取得了较好的效果。
• 科研情况简介：主要研究方向包括面向软件协作网络的功能追踪与开发管理，开发了开发状态管理系统、功能追踪自动化、核心情绪分析、基于功能关联的Issue分类与聚合等工具和技术。

总结与展望

• 需求可追踪性是软件开发中重要的技术，能够提升开发效率和质量，支持开发数据资产化，并是大模型赋能软件开发的关键。
• 需求自动追踪长期以来是软件工程领域研究与实践的热点与难点，当前主流追踪技术为面向传统制品文本的信息检索和面向代码库文本的机器学习。
• 未来研究方向：重点关注大模型RAG和Prompt与传统分析技术的结合，以及开发专用大模型、引入领域模型和奖励模型等。