信通院-面向金融业务典型场景的大模型应用能力评估与思考

何阳 中国信息通信研究院云计算与大数据研究所副所长 一、整体发展态势 目录contents 二、评估体系思考 三、FAIS研究计划介绍 国家高度重视人工智能与行业融合发展 ◼2025年，金融领域大模型将作为金融业"新质生产力"的核心载体，在国家战略引领下加速金融业数字化智能化转型，重构金融服务生态，释放数字经济新动能。 三大政策趋势 "人工智能+"战略牵引下的金融领域大模型应用正从试点探索迈向全面深化阶段 大模型作为金融业数字化转型的重要推动力量，正逐步融入金融行业数智化发展的战略布局 一.金融领域大模型已从技术探索阶段进入落地应用阶段。 ➢运用云计算、大数据、人工智能、机器学习、隐私计算等技术，研发数字化经营工具，提升经营管理质效和风险防控水平。 ➢深入实施“人工智能+”行动，大力推进人工智能规模化商业化应用，推动人工智能在经济社会发展各领域加快普及、深度融合。——《关于深入实施“人工智能+”行动的意见》 二.金融领域大模型应用以风险可控合规为前提 ➢建立智能风控体系。研发科技金融授信审批人工智能模型。——《银行业保险业科技金融高质量发展实施方案》 •表明大模型将作为连接金融与实体经济的重要纽带，推动金融服务与实体经济进一步融合。 三.大模型正在驱动金融行业数智化发展 ➢加快金融数字化智能化转型，安全稳妥有序推进人工智能大模型等在金融领域应用。——2025年央行科技工作会议 人工智能+行动方案加速金融服务模式变革 ◼2025年08月21日，国务院正式印发《关于深入实施“人工智能+”行动的意见》（国发〔2025〕11号）。推动人工智能与经济社会各行业各领域广泛深度融合，重塑人类生产生活范式，促进生产力革命性跃迁和生产关系深层次变革，加快形成人机协同、跨界融合、共创分享的智能经济和智能社会新形态。 促进金融业务模式智能化变革 六大重点领域 发展目标 •智能化金融服务：利用AI为客户提供更加个性化、智能化的金融服务。•创新金融产品：借助AI技术创新金融产品，支持智能原生企业发展。 科学技术 产业发展 AI+重点领域广泛深度融合 •培育智能原生新模式新业态，推进工业全要素智能化发展，加快农业数智化转型升级。。 •加速科学发现进程，驱动技术研发模式创新和效能提升，创新哲学社会科学研究方法。 夯实金融业风险管理能力 •风险预测与预警：运用AI技术对海量数据进行分析，提前预测信用风险、市场风险等。•反欺诈能力提升：利用AI的图像识别、行为分析等技术，可有效识别欺诈行为，保障客户资金安全。 消费提质 民生福祉 •拓展服务消费新场景，培育产品消费新业态发展智能网联汽车、智能家居等新一代智能终端。 •创造更加智能的工作方式，推行更富成效的学习方式，打造更有品质的美好生活。 提升金融业运营管理效率 治理能力 全球合作 •流程自动化：利用AI技术实现自动化审批和风险评估。•资源优化配置：借助AI对业务数据的分析，能够更精准地配置资源，优化网点布局和人员安排。 •开创社会治理人机共生新图景，打造安全治理多元共治新格局。 •推动人工智能普惠共享，共建人工智能全球治理体系。 金融业亟需通过数智化技术加速行业升级，重构业务价值链 ◼当前，金融业面临行业发展转变、客户需求升级、风险管理复杂、运营效率待提升等挑战，亟需通过数字化、智能化技术的深度融合应用，重构金融业务价值链。 金融业特点及挑战 应对挑战的解决之道 数智化转型成为金融业应对挑战和长远发展的必然选择 行业发展转变快 市场竞争加剧 越来越多科技公司加入金融市场，利用大数据、人工智能等技术提供创新的金融产品和服务。灵活的定价策略和更高效的服务流程，迫使金融机构必须加快自身创新步伐。 金融业面临业务增速放缓、产品利润空间逐步压缩现状，行业正从传统的“评估与服务模式”向“可预测、个性化和生态化模式”转变。 01.提升客户体验 •深入分析客户需求，提供更加个性化、定制化保险产品和服务。 02.优化风险管理 •通过大数据分析，更准确评估风险，制定合理的风险管控措施。 客户需求升级 风险管理复杂 03.提升运营效率 金融业高度依赖风险评估和管理，当前风险因素复杂多变，传统风险评估和管理方法难以适应新形势需要。 金融业传统产品与服务模式难以满足现代消费者需求，客户期望获得个性化的解决方案。 •通过自动化和智能化数据处理和分析，减少手工操作，降低错误率，提高业务效率。 04.加强合规管理 运营效率提升需求 数据安全需求 •通过智能化技术，实现实时监控业务流程，确保合规性，降低违规风险。 传统的金融营销模式，效率低下且存在主观判断错误问题，亟需从传统人工操作模式转型更加智能化、自动化服务模式。 金融业务涉及大量个人和企业隐私信息，且金融机构需要遵守各国数据保护法规，亟需投入大量资源确保数据安全和隐私保护。 05.实现创新发展 •通过利用新技术，开发新业务模式，拓展新市场，提升竞争力。 金融领域大模型渐进式分阶段落地，赋能业务发展 ◼经过调研显示，目前金融机构根据监管要求、技术成熟度、投入产出等因素主要采用“全心投入、先内后外、从易到难、场景 迁移的方式”落地大模型金融应用，大模型在提升业务创新驱动、改善用户体验、流程自动化等方面发挥重要功效。 大模型投入 大模型发挥功效 场景应用落地 目前大部分机构利用大模型主要为达到流程自动化、辅助决策、业务创新、风险评估等目标。 机构对内场景落地较多，有三分之一的机构把大模型集成到核心业务流程中。 机构投入超过千万的超过40%，人员投入超过50人的超过35%。 大模型基准测试体系不断涌现，侧重于模型的通用能力 ◼当前大模型基准测试体系数量不断攀升，目前产学研各界发布的大模型基准测试大都侧重于模型的通用能力，基本上可以总结为涵盖知识能力、语言能力、推理能力、理解能力、安全能力等能力，缺少与具体业务结合的垂直领域的能力评估。 •从发布时间来看，仅2023年一年出现的大模型基准测试数据集的数量远超过之前5年，达到200多个。 C.推理能力 D.理解能力 A.知识能力 B.语言能力 E.安全能力 育层次的学科知识掌握情况，关注模型在理解和生成语言方面的能力，包括对字词的精准辨识、分类、含义解释以及新词创造；对语句、段落的语法结构进行解析和错误纠正；以及将一种语言翻译为另一种语言的能力。 确保模型的输出不仅符合技术要求，还要符合社会和道德规范。包括了软件与应用、网络与系统保护、安全分析以及漏洞防护等技术能力，还有伦理、道德、合规、符合事实等能力。 该维度针对模型的逻辑分析与问题解决能力。模型的推理能力不仅涉及数学计算和逻辑判断，还包括对复杂问题的因果推断和程序代码的生成与debug能力。 评估模型对于给定文本的深入理解程度，包括对文字含义的把握、主旨的抽取、语境的解读以及创意写作。 衡量模型对广泛知识的了解程度，关注于模型在不同教从义务教育、高等教育以及职业教育等角度，通过对各级学科进行分类，构建完整的学科能力。 •从测试领域来看，以大模型的通用语言类评测为主，占比超过50%，面向行业类的评测数据集也开始迅速发展。 面向金融场景下大模型应用效果评价存在困难 ◼目前金融领域大模型应用处于快速发展阶段，亟需可实施落地的标准规范和指南，但目前缺乏针对具体金融场景和业务下的大模 型应用评估方法，致使金融机构进行大模型应用效果评价存在困难，无法适配客户精细化的大模型应用场景需求。 现有金融场景下大模型测评存在的问题 •各金融机构数据格式和数据获取标准存在差异，增加了数据处理的难度和复杂性，导致缺乏高质量金融训练数据，影响了大模型的应用效果•大模型测试数据可能包含了训练数据，造成数据“污染”问题，导致现有刷榜方式可能存在公正性和可信度问题 •大模型在金融领域测评涉及通用能力、泛化能力、服务可靠性、应用安全性、业务场景适应性等多个方面，现有评估方式主要侧重性能评估，缺少全面有效的评估标准•针对使用哪些评估标准和测评数据集进行评测没有统一规范，难以精确对比各大模型在金融领域应用能力 •金融机构需要根据自身业务特点和客户需求选择适合的大模型，但目前缺少针对具体金融场景和业务需求的大模型评估方法•部分测评指标与具体应用场景和业务需求强关联，测评指标无法进行准确量化 业务场景 目录contents 三、FAIS研究计划介绍 《基于金融业务典型场景的大模型应用能力评估模型》相关工作介绍 ◼2024年7月，中国信通院联合40余家金融机构、服务商，通过线上研讨、线下访谈和意见征集等方式，完成了《基于金融业务典型场景的大模型应用能力评估模型》（FLMM）的撰写工作，并于2024年11月29日启动首批评估工作。 •2024年11月29日，2024（第七届）金融科技产业大会在北京国际会议中心召开。 •会上，中国信通院联合中国银行业协会、工商银行、农业银行、邮储银行、交通银行、广州银行、国泰君安证券、中金公司、中信建投证券、招商证券、中金财富、山西证券、博时基金、易方达基金、人保财险、阳光数智等单位，共同启动《基于金融业务典型场景的大模型应用能力评估模型》（以下简称“FLMM”）首批评估工作。 参编单位：工商银行、交通银行、邮储银行、广州银行、国泰君安证券、山西证券、东莞证券、上海期货交易所、人保财险、阳光保险、中信建投证券、国元证券、招商证券、中移金科、中兴、金山云、百度云、京东云、新华三、恒银科技、中国金融认证中心、航天智能院、东北财经大学、中电信数智、广电运通、紫光恒越等40余家单位参编。 FLMM评估模型分析 ◼基于金融业务典型场景的大模型应用能力评估模型（FLMM）的三大能力域：业务价值提升能力V、服务可靠性R、应用安全性S，分别体现了大模型的业务价值、服务价值和管理价值。业务价值：直观彰显 业务价值提升能力（2度+3率+3能力）：分别从业务维度、客户维度和机构内部维度，关注金融机构在典型业务场景使用大模型时给业务带来的价值的提升。包括业务契合度、业务效能提升率、决策增强力、业务收益提升率、业务创新能力、客户满意度、客户市场拓展力、成本节约率。 服务价值：技术基石 服务可靠性（6性+1能力+1时间）：关注金融机构在典型业务场景使用的大模型本身的技术服务能力。包括易用性、稳定性、计量准确性、平均无故障时间、工具调用能力、可维护性、可拓展性以及兼容性。 管理价值：有力保障 应用安全性（3能力+2性）：关注金融机构在典型业务场景使用大模型时的安全防护能力。包括隐私保护能力、可审查性、合规性、风险管理能力以及幻觉避免能力。 业务价值提升能力V：衡量大模型应用成效的最终指向 ◼从头部机构的研究和实践经验来看，目前评估大模型应用成功的方法和维度有所差异，但是存在一个基本共性：业务价值是衡量大模型成功的最终指向。 微软 谷歌 Gartner 微软推出的《为人工智能成功奠定基础：领导者指南》列出了五个类别，包括商业策略、技术策略、AI策略、组织与文化、AI治理。指出商业策略是人工智能成功的第一步，业务需求目标主要有提高生产力、效率最大化、改善业务成果。 在《新一代人工智能的KPI》中归纳了三个主要领域，模型质量、系统质量和业务影响。企业可以从人工智能部署中获得多种价值，建议用于跟踪业务影响的指标有采用率、使用频率、会话长度、放弃率、用户满意度等，商业价值改进指标则列举了客服成本减少、营销简化时间、零售收入提升等示例。 在《调查分析：人工智能有限策略带来汇报增加》中指出，41%的成熟人工智能组织使用与客户成功相关的业务指标。 业务价值是大模型应用的最终指向 服务可靠性R：金融场景大模型应用的基础技术能力 ◼大模型技术服务的可靠性是金融场景大模型发挥有效作用的基础能力，这些能力主要体现在大模型开发和部署的全流程中，无故障、稳定、兼容、拓展、维护、工具调用、易用等能力贯穿全流