腾讯金融业客服解决方案 01 方案价值与产品定位 在客服业务多个业务环节都有应用机会 㖞兞衅㖑ꦼ挿♸倰呩⟟⧩ ꣭⡛㣐垷㘗䎾欽㖑꡶地⸔⸂⟱⚌넞佪䩧鸣佪卓⢕ծ剣⟟⧩涸㣐垷㘗䎾欽倰呩 方案定位:用灵活的大模型应用开发平台支持客服业务 l基于大模型的应用开发平台,提供RAG、Workflow、Agent等应用开发方式、及原子能力(API)服务,助力企业加速大模型应用落地。 RAG效果保持领先,知识对接类型还需进一步扩展 l知识问答部分领域效果领先:在图文混排文档问答、复杂大表问答等领域相比友商有一定优势。擅长图文表解析及公式解析,已被月之暗面采购,并支持元器、元宝调用。l知识对接类型如未支持在线文档对接、微信公众号文章、客户本地数据库对接),还需进一步完善。 具备工作流、Agent复杂应用构建能力 l新版工作流发布,支持14个常用画布节点,支持客户通过拖拽大模型节点、参数提取节点、知识问答节点等常用原子能力编排业务流程。 自研+开源模型驱动,各取所长 l自研模型:混元全系列模型;自研精调知识在无关知识拒答、多模态阅读理解上有优势;在医学、教育等行业大模型上有落地标杆。 l三方开源模型:接入DeepSeekR1/V3,叠加联网搜索+RAG能力,进一步放大RAG优势。 三大应用模式,满足客服场景多样需求 Agent模式 标准模式 工作流模式 “智能生产线” “RAG:最强知识外挂” “AI指挥官” 使用指定的工作流来响应用户所有对话。通过工作流,来拖拉拽各种原子能力,编排你想要的服务流程,如账户查询、挂失解卦、健康服务预约等。 Agent模式由大模型进行任务自主规划和工具调用(function-call),可实现高效应用搭建。适用于有灵活回复或快速搭建需求的服务问答场景,如投资规划、组合推荐等。 02 业务难点与方案优势 大模型客服落地的实际难点1:企业知识格式多样、图文并茂 把企业五花八门的知识库喂给大模型,没那么简单! 传统技术局限:识别精度低、元素易丢失 产品优势一:全链路解决企业多模态知识处理难题,让模型看得清 亮点能力:基于OCR大模型,提升图文并茂文档的解析准确度 文档解析业内能力全面,准确率相比传统解析提升30%。 基于OCR大模型,突破复杂版面分析、元素识别等技术瓶颈 业界首个支持200MB以内超大文档vs.业内普遍100MB内丰富的文档类型,超过26类vs.业内普遍10类以内支持图文混排(多列排版)版面分析、图文表/公式/页眉等元素识别 大模型落地的实际难点2:结构化表格数据庞大,检索困难 •结构化的知识散落在企业的各种数据源中,结构化表格往往篇幅长(上百列、上万行...) 上百列、上万行表格 ⽂档中的⾮标准表格 l嵌套表格,无法用Text2SQL进行精确检索。l完整的表格文本长度往往大于32K,一次性给大语言模型处理效果不佳。 亮点能力2:Text2SQL,支持上万行/上百列的大表问答 •上线基于大语言模型的embedding模型,支持8K长切片检索,多文档信息召回率从85%提升到92%;提供Text2SQL能力,支持处理标准大表格单表检索及跨表检索,SQL执行准确率超过80%。 Query“非智能且在售,并且一级分类是天棚灯的产品包含哪些” 亮点能力2:综合使用摘要检索、关键词检索、向量检索,提升不规则大表格的问答准确率,让模型找得准 小(摘要)找大(表格):通过检索摘要来获取相关的表格 混合检索:融合向量检索、关键词检索多种能力 向量检索: 通过大语言模型对表格进行摘要,通过检索摘要来获取相关的表格。如表格超过了大语言模型能够支持的最大长度,将表格切分为多个子切片,通过子切片的摘要生成表格摘要。 •相近语义理解、多语言理解 关键词检索: •精确匹配(如产品名称、姓名、产品编号)•少量字符的匹配(很多用户恰恰习惯只输入几个关键词)•倾向低频词汇的匹配(低频词汇往往承载了语言中的重要意义) 落地难点:用户对话信息多模态,包含图文交错复杂信息输入 业界技术局限 场景痛点 •用户的输入包含图文交错信息的输入,问题的答案在文档中的图片、或者图文混排段落里面,图文关系理解困难;•图片类型多样,无文字注释的自然场景图片,仅靠单模态的LLM无法理解 •集中在处理基础视觉问答(VQA)任务•这些任务通常只涉及与问题强相关的有限图片,即:用户输入图片,模型直接回复 亮点能力3:读懂理解文中“图文关系”,提升问答准确率及答案出图率 难点4:严肃场景对模型判断模糊知识、无关知识的能力要求高 针对模糊问题,可能在知识库中找到多个相近答案 针对用户问题,可能在知识库中找到无关知识 检索到⽆关的知识,不⾜以回答⽤户问题 知识库中有这3个相近的型号的相关⽂档: TL-TUMS2600-N、TL-TUMS2600-N-SA、TL-TUMS2600-N-A⽂档1《TL_TUMS2600_N_产品介绍2022_09_21.pdf》⽂档2《TL_TUMS2600_N_SA_产品介绍2023_01_05.pdf》⽂档3《TL_TUMS2600_N_A_产品介绍2023_02_04.pdf》 TL_TUMS2600内存是多少 Pxxxxxxxxx-03包装清单 亮点能力4:支持无关知识拒答、模糊问题主动澄清,让模型答得对 1.基于上下文语境,结合检索结果综合判断意图,模糊意图进一步主动澄清 3.当知识检索结果不足以回答用户问题时,模型不做错误回答 2.面向业务诉求,可支持轻松自定义意图,简单样例即可实现准确理解 根据检索片段判断不足以回答用户问题,给出拒答回复: 知识库有内容: “甲类药品全报,乙类药品按比例”“退休人员65%,在职人员60%” 业务场景,涉及流程分支和业务接口多,仅依赖模型自主 痛点:实际业务场景往往由多种条件分支组成。典型场景如“分期费率查询”,包含了分期产品、期数、还款日、费用计算、优惠活动等一系列复杂流程。 1、涉及业务接口多、模型调试困难。2、大量问法话术、追问等机械的流程,对话体验较差。 亮点能力5:用工作流支持复杂的固定作业流程,并保留灵活性和可拓展性 通过可视化拖拉拽的方式编排不同的原子能力(如大模型、知识库、插件等),零代码构建业务流程 提供10+画布节点,编排复杂应用,复杂流程的执行准确率和对话完成率效果领先。 Ø通过可视化拖拉拽的方式编排不同的原子能力,零代码/低代码构建业务流程。 Ø其中参数提取节点,支持多参数同时提取、基于对话历史进行多轮反问澄清等优势能力,对话效果更优势。 Ø大模型相关的节点均接入DeepSeekR1和V3满血版模型,可支持自由选择和切换。 亮点能力5:工作流支持知识和流程类任务切换,快速的验证和问题排查 支持多轮交互 完善的配套功能 多轮对话:多轮对话中,系统自动分析必填信息完整性,如果不完整则自动反问澄清,引导用户提供必填信息 工作流调试:多轮对话调试,支持展示处理路径及详情。 节点调试:代码节点提供了运行环境及IDE,支持用户在线编辑运行。 灵活跳转:系统支持灵活的工作流跳转,每一轮对话都会由模型进行意图理解并使用最佳的达成方式满足该意图。 快捷反馈:为用户提供了一键问题反馈功能。 知识引擎新版本Agent:把工作流画布转换成流程描述语言(PDL),通过Agent理解全局流程,保证对话准确率基础上,以更加灵活的方式应对超出范围的问题。 传统画布:工程执行确定流程,超出范围的问题无法灵活响应; 业界普遍:直接执行工作流,不支持多轮对话,或对话准确率低 方案应用案例 机构柜面运营人员规模2700人,承接新契约、保全、理赔全链路运营业务、产品的信息咨询和客户权益咨询,涉及的知识、规范内容约信息量极大(运营文档400个+,产品文档800个+),运营人员实际业务遇到问题时,需要大量查询内规和外规,无法及时响应,不同员工对外应答的内容也不一致,业务开展受限。 上传知识覆盖各业务的内部操作规程(禁新契约、保全、理赔、投诉、客户信息真实性、销售可回溯、消保等)、外部业务经营要求(金管局、人行、国务院等)和业务办理模版(《权益确认书》、《委托授权书》、《保险单变更通知书》等) 知识运营 问答对生成:人工编写问答对,工作量巨大 问答准确 文本机器人:召回率低,大量问题无法回答 •问答对生成时间从1小时缩短至5分钟•有答案问题召回率100%,准确率86% •知识运营流程梳理,通过文档命名规范、文档标签支持复杂知识结构和组织架构的知识运营需求•知识运营工具建设,相似问、猜你想问、答案溯源等功能支持知识运营 针对复杂的业务规则,模型可检索多个文档,总结生成全面和准确的答案 小模型训练缺乏语料 大模型生成相似问,为小模型训练提供语料 Output评估结论和依据 车险评残业务过往全部需由法医人工完成 Input出院小结 人工评残时间长,效率低 •准确率95% 上传出院小结,病厉、检查报告,手术记录 知识库录入评定规则 OCR文字解析 RAG召回与伤情信息相关的人伤评定规则 Thanks!