基于知识助手的金融大模型应用实践

曹阳/中关村科⾦资深AI产品总监 中关村科金资深AI产品总监，拥有超过10年的ToB产品经验，曾 任 职 于 阿 里、京 东、字 节 跳动、shopee等公司，主导多个智能 客 服 产 品，对NLP、智 能 客服、CRM相关的技术、产品应用、商业化有着丰富经验。 基于知识引擎的⾦融⼤模型应⽤实践 •⼤模型在⾦融业务场景下应⽤的趋势和挑战•⼤模型驱动知识应⽤新范式•基于知识助⼿基座的⼤模型⾦融领域应⽤实践 2024⼤模型技术的发展态势 2024年⼤模型应⽤的发展阶段 ⾦融天然是数字，数字化场景需求显著⾦融⼤模型驱动的AIGC可⻅⼗年发展红利 对金融行业的影响和变革 ◎个性化的服务和极致用户体验 ◎高效的价值传递效率 ◎合规安全的决策智能 ⼤模型在落地过程中的关键挑战 灵活兼容 成本经济 根据不同场景需求，选择不同参数规模的模型，降低算力资源消耗，平衡响应时延，提升投入产出比。 大模型迭代速度快，需根据场景需求，兼容多个厂家/多个版本/多种参数规模的基础大模型。 组合创新 安全可信 领域大模型需具备工具操控能力，与其他能力组件、传统AI小模型形成能力互补、云边端有效分工体系。 最大程度避免幻觉问题，提升专业性。注入合法合规与安全隐私能力，遵守内外部规则制定，提升拒绝能力。 人机协作 运维自主 领域微调将大幅提升基础大模型的特定场景准确度，数据是其中关键。大模型技术前置，企业可自主运维。 新场景下冷启动阶段需以人机协同的方式保障准确度。使用过程中形成模型自迭代的反馈机制。 ⼤模型是数字时代的智能基础设施，推动科技平权新范式 科技平权强调普适价值 大模型是人人皆可对话的AI,重塑新型人机生产关系，成为数字生产要素新范式和智能基础设施 模型大小、训练数据量、计算资源的规模和比例，影响建模的性能。 基于知识引擎的⾦融⼤模型应⽤实践 •⼤模型在⾦融业务场景下应⽤的趋势和挑战•⼤模型驱动知识应⽤新范式•基于知识助⼿基座的⼤模型⾦融领域应⽤实践 ⼤模型的本质：语⾔与世界知识的知识库 参数化的知识表示 •基础的世界知识•序列/语言的理解能力•遵循指令能力•上下文记忆能力与学习能力•泛化到新任务的能力•复杂推理的思维链能力•涌现能力 ⼤模型只是AGI的⼀个⾥程碑 ⼤模型潜在应⽤场景：构建企业知识中台是最佳的切⼊点 容错性高非结构化数据的知识化将成为新时代的数智化基建，构建企业知识中台，以知识中台为基础，构建各类基于知识的应用场景。 ⼤模型驱动知识应⽤新范式 传统AI赛道的典型模式为AI技术垂直场景+项目制开发,在可持续经营和规模化扩张能力方面稍显不足,而大模型的技术特征和应用效果,让市场对于AI的商业价值产生了全新的认知与期待。 大模型 大模型的出现大幅度降低了非结构化数据的使用门槛，有助于释放海量非结构化数据中隐含的知识，赋能企业业务。 知识应用 市场缺乏生态体系 总体技术框架：三个步骤、两个算法、⼀个平台 •定位：任务定位，打开大模型黑箱•微调：数据有限的状态下做性能提升 •学：各类文档中的显性知识•用：业务专家的先验知识•教：行为日志中的隐性知识 •应用模板：缩短验证周期•组件集市：避免重复造轮子•低代码平台：降低创新门槛 三个步骤： 提升知识利⽤效率、辅助知识⾃动更新 两个算法： 打开⼤模型的⿊箱、提升领域专业性 基于⼤模型的企业智能，数据是核⼼资产 通用大模型 领域大模型 数据→知识→资产 •数据：高质、最小必要•算力：十卡天持续学习•策略：专业、经济、安全 •数据：多样、万亿级•算力：万卡天量级•策略：预训练，通用 知识助⼿带来的知识应⽤新范式，打通“最后⼀公⾥” 内容抽取/总结 基于知识引擎的⾦融⼤模型应⽤实践 •⼤模型在⾦融业务场景下应⽤的趋势和挑战•⼤模型驱动知识应⽤新范式•基于知识助⼿基座的⼤模型⾦融领域应⽤实践 基于知识引擎基座的⾦融场景解决⽅案 投顾助⼿ 基于⼤模型的智能投顾助⼿是发展的必然趋势 我国2022年市场投资者数量共计21213.62万，而投资顾问人员仅有74570位。理论上计算，每位投资顾问需要服务2943位A股投资者，才能覆盖庞大的客户群体。 后期扩展：AI财富助⼿ —买⽅财富管理业务转型助⼿，深度KYC、产品学习、资产配置、全周期陪伴 培训助⼿ 知识管理场景——智能陪练 How 31.3%过度承诺违规率降低 40%培训时长缩短 大模型对练 小模型对练 根据行业场景设置大模型扮演角色，覆盖面更广，场景更丰富，多轮对话自然流畅，复刻真实对客场景 优秀导师配置高频、易出错的对话流程，推送学员对练，再通过NLP相似度和关键词等进行实时评分 某头部金融机构，使用大模型陪练大幅提升新人培训效果 投研助⼿ 投研助⼿ 通过分析平台来快速获取所需市场、产品、客户等内外部数据，结合这些数据不仅可以判断市场情况，还能通过对话的方式，让大模型进行市场及投研的分析。 市场趋势解读借助大模型的领域知识能力,可以帮助分析师,进一步解读当前的市场情况 市场趋势分析 分析师可以询问当前市场的整体趋势和各类关键指标数据,判断市场趋势 客户特点分析分析师可以通过大模型对客户的会话、行为数据分析,了解当前客户的整体特征 客户需求分析分析师可以直接获取到来自一线客户的真实需求,以及需求背后的原因 产品竞争力分析借助大模型对竞品的数据分析,帮助分析师判断产品的市场竞争力 产品反馈分析分析师可以消费者对不同产品不同角度的偏好及具体的产品反馈 研报分析 报告写作场景—尽调报告、投研报告 目标：基于给定的素材，按照特定的报告模板生成内容，并可在界面内智能的对报告内容进行扩写、润色、续写等功能，辅助员工提升写作效率，减少在写作场景的工作投入。 内容解析 OCR解析： 质检助⼿ 安全合规场景 合规助⼿ —⽤LLM约束LLM，为⼤模型应⽤保驾护航 基于大模型能力，将法律法规、行业规范、公司规章等非结构化文本内容构建为质检点，并利用大模型对文本内容、对话内容进行合规监控，构建金融领域完善合规能力。