基于需求知识工程建设的增强大语言模型赋能需求提效

基于需求知识工程建设的增强大语言模型赋能需求提效 王一中兴通讯 1.背景&痛点2.解决思路&整体方案3.具体实现4.总结与展望 目录CONTENTS 背景&痛点PART 01 基于能耗模型，进行量化评估总能耗=频度*（人数+程度） 痛点 因家端产品定制需求多，需求实例化分析工作量大，需求来源零散增加了分析难度，同时相似需求占比高，实例化内容无法直接复用，重复进行实例化造成研发人力浪费 解决思路&整体方案PART 02 解决思路：构建基于知识工程的AI应用，覆盖需求高能耗活动，设计原子应用编排，模拟BA工作嵌入研发流程，实现大模型需求分析提效 具体实现PART 03 重点实践：AI需求实例化内容生成-背景导入 重点实践：AI需求实例化内容生成 基于DN Studio平台的提示词管理，同一应用可配置多个项目的提示词 为支撑不同项目的诉求，当前提示词可支持项目限定信息、AI输出内容、AI输出格式的配置 开发自定义清洗算子，把需求节点上的历史需求处理成格式化的需求语料，适配多种任务场景 开发通用和定制清洗算子适配于需求节点所有页面 历史需求节点转为需求QA对支撑知识库建设 知识库按项目独立存储，包含索引和元数据文件，支持RAG、跨知识库检索，相关信息检索 通过自动化脚本每日识别新增需求，将人工评审通过的需求更新到知识库，实现知识库保活 基于DN Studio编排搭建AI应用底座，实现知识库检索、LLM多路并行生成、内容格式化等 基于脚本自动回填和@自动回复两种方式完成工程化推广，自动执行后标记AI生成 两种触发方式的都是自动化执行，无须人工干预 每日自动触发AI应用完成新增需求实例化，回填结果到iCenter需求页面 建设评估集，评估应用效果 评估结果牵引效果提升改进 通过数据埋点保留关键过程信息，如生成内容、时间戳，呈现一体化度量看板 基于TF-IDF算法的采纳率计算 定义TF-IDF（Term Frequency-Inverse Document Frequency）是⼀种在信息检索和⾃ 然语⾔处理中⼴泛使⽤的统计⽅法，⽤于评估⼀个词语对于⼀个⽂档集或⼀个语料库中的其中⼀份⽂件的重要程度。 基本计算词频（TF）表示词条（关键字）在⽂本中出现的频率，通常被归⼀化处理以防⽌ 偏向⻓⽂档。公式为：TF(t, d) =词!在⽂档"中出现的次数⽂档"中的词条总数。逆⽂档频率（IDF）表示词条的普遍重要性，反映了词条的稀有程度。IDF的计算公式是：𝐼𝐷𝐹(𝑡)=𝑙𝑜𝑔(#"$!%&)。其中，D是⽂档总数，𝑑𝑓!是包含词条t的⽂档数量。通过取对数，可以避免数值过⼤的问题，同时保证了IDF的单调递减特性。TF-IDF的计算公式为：𝑇𝐹−𝐼𝐷𝐹(𝑡,𝑑)=𝑇𝐹(𝑡,𝑑)×𝐼𝐷𝐹(𝑡)。 算法特点TF-IDF算法的特点主要是：简单快速，容易理解，不考虑词语的语义信息，不考 虑特征词的位置因素对⽂本的区分度，以及忽略了特征项在⼀个类别中不同类别间的分布情况。正是基于这样的算法特点，它相⽐于Embedding算法会更加地“严谨”，因此更会适合于计算采纳率。 效果评估 Ø清洗4.9w需求节点，构建包含1.3w需求QA向量知识库，采纳率提升10%（20%->30%） 效果评估 Ø7.8w测试用例通过大模型自动提炼转换为需求QA对，需求场景知识库QA对整体增加46%，采纳率提升10%（30%->40%） 效果评估 Ø基于模拟特三角评审实例化的方式，明确画场景和MFQ互为评审补充的autowork方案，相较于单点应用，AutoWork对于GWT的生成采纳率提升5%（40%->45%） 总结与展望PART 04 总结 u端到端知识工程建设 u自动化评估 u工程化推广 l抓取需求的原始数据l清洗并结构化需求内容l搭建需求QA对知识库l支持RAG检索增强生成l自动更新需求知识库 l自动识别新增需求l批量调用AI生成l自动回填生成内容l存储AI应用的过程数据 l自动调用AI生成l自动对比人工评审和AI生成结果l自动计算采纳率 THANKS