软件工程领域基于 LLM 的生成式搜索实践

软件工程领域基于 LLM 的生成式搜索实践

搜索的业务场景

• 研发领域搜索的重要性：58%的开发人员时间用于搜索和阅读代码，轻松获取信息能提升60%的工作能力和11%的生产力。
• 研发域搜索场景：
  • 通用研发场景：新人了解产品、交接业务、问题排查、资料学习等。
  • 代码研发场景：找不到参考代码、重复开发、组件使用、影响代码修改、漏洞止损、基础框架升级、代码定位等。

搜索当前的痛点问题

• 小程序私域搜索痛点：搜索流量小、引导转化效果差、排序因子单一。
• 通用痛点：知识获取成本高、分散平台、相关性结果冗余。

大模型在知识方面的问题

• 大模型自身问题：无法记住全部知识、知识时效性、易泛化虚假答案。
• 行业解决方案：ChatGPT-retrieval-plugin、WebGPT、检索增强。

搜索和大模型结合架构方案

• 关键点：产品层接入、多种数据源对接、离线索引计算生成、索引数据存储、用户画像、在线高性能相关性召回。
• 架构方案：
  • 研发领域底座模型构建：
    • 数据：Github公开数据、计算机类图书教材、论文等，清洗出T级别高质量数据集。
    • 算法：GPT架构优化、研发领域行业大模型MBPP评测国内国际第一梯队。
  • 生成式搜索总结模型构建：
    • 总结模型微调：在底座模型基础上构造微调数据，提升总结能力和文档引用。
    • Prompt构建：优化Prompt可提升20%+问法效果。
  • 数据与知识构建：
    • 三类数据：实时上下文数据、站点内容数据、站点能力接口。
    • 数据管理平台：能力触发数据管理。

生成式搜索的用户交互

• 站点搜索框：一行代码嵌入搜索框组件，自动具备大模型能力。
• 站点气泡框：搜索和答疑场景，如代码托管平台权限申请。

大模型与研发产品

• 大模型持续改进：
  • 数据：大规模高质量清洗加工，建设数据质量模型。
  • 算法：大模型结构算法改进，PEFT、MQA、attention层改造等。
  • 场景：text-2-command, text-2-sql，问题排查，code review等，部分场景80%准确度以上。
• 产品：
  • 大模型原生cloudIDE：产品体验代际提升。
  • 站点智能助手：一行代码插入搜索框或气泡，提升用户体验。
  • CodeFuse代码大模型：自然语言生成代码、网页、小程序等。

未来展望

• 研发领域大模型合作。
• 支付宝小程序私域智能搜索。
• 技术交流：钉钉、微信。