蚂蚁-刘志伟-检索增强在大模型落地中的实践应用

大模型效果提升-检索增强 讲师简介 刘志伟（比奥），蚂蚁集团，研发效能搜索与推荐团队负责人，负责：•企业内部搜索和推荐•智能客服•分布式链路追踪•大模型应用等相关领域和技术 目录 •解决的问题•行业实践•我们的实践、业务效果•未来展望 企业内部知识搜索的重要性 背景-企业内部知识可以应用大模型case分析 •文档-资料学习 •我是个新同学，希望对历史的信息了解的不全面，想要对历史的信息做追溯和了解，通过搜索过滤•交接新的平台或业务，了解过去的需求背景及实现细节等 •文档-寻找问题排查方案 •找一些研发文档、技术手册，当开发的任务有运行问题时，为了解决这些问题就会去找文档 •…… 背景-企业内部知识可以应用大模型case分析 •代码-不知道怎么用（找不到参考代码）•某个中台接口，38个入参、37个出参，20个错误码。支持上万的业务场景，每个业务场景该传什么参数 •代码-影响太多，不敢改代码•支付流水号扩位（16位改32位），人工批量检查大规模代码 •代码-代码定位难•日志报错在哪打的，谁改了这段代码 •…… 背景-企业内部知识可以应用大模型case分析 •流水线部署失败，阻塞迭代的推进，这个有什么办法吗？是否可以跳……•Dev环境网关超时，走不到应用机器•DTM：denied bystsor ram, action:log:CreateConsumerGroup•因公付在外部费控场景下，由于需要调用外部应用，支付决策会对此类情况调长咨询超时时间，想问下，对于此种情况的咨询量是否有做限流” 问题与挑战 但搜索还有未被很好解决的痛点：知识获取成本依然高 •分散在多个平台多个常用的平台挨个尝试 •相关性的结果，多个搜索结果自己总结答案举例：在已有代码上找到API几种典型的用法并参考。然而通过相关性找到的搜索结果往往成千上万 大模型是解决这些问题很好的技术方案 大模型在知识方面存在的问题 大模型在知识方面存在的问题 大模型在知识方面存在的问题 行业产品：New Bing 行业产品：ChatGPT 行业技术：LangChain 行业技术：LangChain 行业技术：Self-RAG 行业技术：CON 行业技术：COK 解决方案-整体架构 关键点-复杂文档的处理 关键点-知识点提取 关键点-总结模型 关键点-总结模型 解决方案-内部产品实践 未来展望-大模型如何具备知识 微 信 官 方 公 众 号 ： 壹 佰 案 例关 注 查 看 更 多 年 度 实 践 案 例