基于大语言模型的AI Agent架构及金融行业实践

2024.8.17 企业数智化发展趋势 大模型的发展趋势：文本、多模态、实时，开源、闭源，商业化成熟度 新拐点和新范式正在形成，通用人工智能的发展将带来人类社会发展的巨大飞跃 行动（实现）系统 Gartner：A New Market Is Emerging—Business Orchestration andAutomation Technologies AI Agent在企业数智化中的定位 AI Agent：基于大语言模型的自治智能体 从人机协同模式角度p初级形态：把AI嵌入到人的工作中 从技术架构演进角度p对话式编程时代，我们相信新的更优雅 从Agent组成结构角度pAgent具备角色识别，规划及任务拆 p中级形态：AI作为人的辅助工具p高级形态：AI作为主要工具，Agent对人的依赖性在降低，且越来越像真人。人的大部分用于繁琐日常工作的技能被AI取代，而人机协同又让个体以前90%的弱技能被瞬间强化 的基于大语言模型的软件架构必将诞生pSPQA架构是一种全新的软件架构，区别于以前静态、有限输入、电路式的软件架构nState+Policy：用于感知环境状态、组织策略nQuestions+Action：拆解问题任务、组织行动AutonomousAgent 解、记忆及知识沉淀、工具/技能使用、执行动作等能力p采用更加高效的CUI交互模式 Gartner：智能体组件（Action，Insight，Reference） 大模型产业生态&澜码科技独特的产业生态位 大模型产业生态由基础设施、大模型、以及面向业务和使用需求的应用层构成，各个要素环环相扣，共同构建和实现新质生产力。 愿景：让人人都能设计自己专属的AI智能体 AskXBOT产品AskXBOT 自主研发的基于大语言模型的企业级Al Agent平台，集Agent与工作流设计、开发、使用、管理，与知识沉淀于一体。帮助企业快速定制企业级AlAgent来完成各类任务，从而实现业务运营的提质增效。 企服场景下专家知识的五层模型知识中心驱动的创新引擎，解放专家智慧，实现五层模型的灵活管理 在企服领域内一致认同的共性知识会计科目的代号，985211高校列表，收款行的SWIFT代码，供应商的基本信息，产品的特定规格和功能，法定假期的日期…… 企业内的约定规则和指导原则合同中特定条款的解释和适用，稳定岗位的定义和相关规定， 销售团队的评定标准和奖励政策，客户服务的最佳实践规则…… 售前提案的审核流程和标准，项目管理的具体流程和方法，人才招聘的流程和标准化面试评估，客户支持流程和服务标准…… 在企业特定领域的专业知识和从业技能 针对特定行业的解决方案设计，针对类似岗位的招聘候选人画像针对类似合同条款的修改建议，针对某类客户的产品需求描述……组织内部和外部社交规则、合适的沟通方式 出现某类问题时向何人寻求帮助最高效，某问题需要组织内哪些管理人员的决策与客户交往礼仪及沟通准则，公司内部的组织架构及关联关系…… AI Agent在金融行业如何落地 金融行业建设思路 建设运营体系 提升期专家知识实时运营 Agent应用落地实例-某大型国有银行金融交易场景 Agent应用落地重在业务知识理解、方案设计与项目统筹管理。充分拉通业务用户，IT专家（知识建模专家、AI专家、大数据专家、大模型专家、基础设施专家）与合作伙伴，综合运用各种工具和平台，构建基于自然语言理解、智能化推理、质量可靠的企业智能体应用。 3.模型选型 4.测试环境部署 5.MVP搭建 1.业务调研 2.方案设计 大模型私有化部署：qwen14B模型对接与联调：行内模型测试环境工具调用API••• 子Agent拆分：信息收集Agents信息收集：合约、金业务试用验证 合约、金额•意图识别：流程状态•知识检索：不涉及•工具调用：SOP接口调用 •流程：SOP•问法：发起交易，信息提供•API：行内接口 •大模型能力边界：是否需要用functioncall•对话流：记忆、规划 •安全组件清单准备•生产环境IT资源确认部 正向业务链路设计 •Agent平台部署 生产环境工具调用API业务验证数据 署方案确认与演练•防火墙策略申请10用户并发CPU服务器：8C16G1T*4GPU服务器：A100*1（40G） 逆向业务及容错设计定制化开发 •定制化开发部署•“试车”跑通 账号与权限数据•• GLM4-昇腾：8*910B（64G） 金融行业案例分享 业务知识梳理与归集&原子化工程能力构建 澜码的检索增强生成（Retrieval-Augmented Generation，简称RAG）实践 RAG是一种结合了信息检索和文本生成的技术，它通过从知识库中检索相关信息来辅助大型企业应用的RAG的实践 语言模型（LLM）生成更准确、更丰富的文本回复。RAG的优势在于它能够确保模型访问到最新、最及时的事实和相关信息，通过定期更新外部参考信息，生成的回复能够纳入与用户查询相关的最新信息。 由于LLM技术的兴起时刻用户对“文档搜索”的要求大幅提升，其中出现很多RAG方法无法覆盖的能力场景，例如：文章归纳摘要、图文混合检索、表格理解、大批量文档中的精准查询，跨语种检索等。面对这些问题，需要系统的看待问题，并针对具体的问题进行应对，仅通过RAG或类似RAG与知识图谱（例如：GraphRAG）结合的方案无法在项目中稳定可靠、经济高效的满足客户需求。澜码自从大模型技术兴起以来，在RAG方案的实践上经历了多个行业不同场景的实际项目交 付历练，形成了一套综合、高效，能够灵活应对各类问答交付场景的系统化RAG方案。澜码在项目中形成了从知识治理、文档入库、检索增强等各个领域的综合方案，可以针对不同项目不同应用场景，灵活设计检索方案，帮助企业稳定可靠的落地RAG方案。 澜码ABI（Augmented Business Intelligence）的应用实践 澜码科技作为大模型应用落地的领先企业，在ABI应用板块率先拥有成熟产品以及行业成功案例，用户通过应用澜码ABI产品，大幅降低员工用数成本，使得80%以上的数据分析任务都通过ABI来完成。准确可靠的查数基于澜码开发的ABI对话框架，通 过大模型与指标库的结合，围绕业务人员的数据达到查数成功率90%以上的业界领先效果。强大的数据分析澜码ABI产品充分发掘指标库与大 模型结合的能力，在完成查数的基础上，为用户提供了各类数据分析能力，让业务人员可以快速找到数据异常的根源。富有洞察力的数据解读澜码ABI同时为用户提供了 查询结果的解读能力。业务人员得到数据结果后没有分析思路，大模型可以帮助用户快速发现数据中的关键细节，解读数据的特征，帮助用户快速理解数据状况。 营销辅助助手-健康产品推荐 背景目标 解决方案 l当前保险渠道人员超过百万，仍旧资源紧张、人员流动率高、健康及保险知识庞大复杂，不易掌握l单城市体检报告超过10万份，人工解读效率低，不精准l核保情形复杂，流程冗长，单次核保时间3周 l需要智能化手段赋能体检报告解读、营销辅助推荐、核保辅助审核等环节 l自动对体检单进行信息抽取，提取到健康状况及疾病相关的信息。l专家知识通过自然语言的方式将产品匹配规则进行输入，Agent会自动根据抽取的信息和匹配规则，针对用户的健康情况，推荐适配的健康保障产品。l辅助经纪人在已有客户上面进行更大范围的产品销售和推荐 科技赋能保险 对核保资料的 精准过滤并锁 原有营销和核 定15%～18%的适用人群，提升获客率50%，周期缩 保的成本降低短3～5倍深层提取实现审核风控能力 渠道人员的 案例演示：健康产品推荐-预定义Agent与Workflow结合 数据分析Agent案例-某头部消费金融公司普惠金融贷款场景 需求背景 解决方案 基于数据中台的数据分析类业务逐年升高，数据服务需求旺盛，支撑数据服务与数据分析等工作的人员任务繁重，导致业务获取数据周期长、业务运营效率低等问题，需要通过一种更加灵活智能的手段来解决。同时由于行业监管的要求需要私有化部署【数据中台】+【澜码AI中台】通过生成式SQL及生成式BI的方案，可以通过对话实现灵活丰富的数据获取。交付澜码的SQL代码生成微调模型，目前准确率已90%+，继续优化中，预计可至95%+ 开户辅助助手-具备记忆、规划、调用、反思的复杂任务机器人 项目背景 解决方案 l需要完成一个模拟一个真实的客户经理，帮助用户进行对公开户的复杂Agentl需要同时处理信息收集、格式核验、字段问答、OCR、辅助填写、API上报、信息确认等多种要求，用户可随时打断，发散，并回归l使用Master Agent框架，对问题进行观察、反思和行动，并自带记忆，可l通过自定义Master Agent、自定义workflow、自定义API技能、文档知识 进行多种技能灵活调用，通过组合平台多种agent、工作流，综合完成任务问答，实现一个像客户经理一样辅助用户对开开户，具备复杂的行为准则的Agent 将用户回答转换为标准的输入通过OCR识别营业执照帮助用户查询相关资料信息提交后调用API请求，发往行内接口进行填单对于用户不明白的疑问，查询文档予以解释用户确认所有信息的正确性 案例演示：开户助手- Agent+OCR+API+专家知识的综合自动化应用 我的个人微信： 澜码科技公众号：