银行业生成式人工智能模型验证：于混沌处求可控之道

银行业生成式人工智能模型验证 白皮书 简介 12p. 与验证相关的生成式人工智能特征 摘要 越来越多的银行正在部署生成式人工智能，将其用于汇总信息、辅助专家判断和自动执行知识密集型任务。虽然这项新技术能够显著提高生产力，但也从根本上改变了模型风险的性质。与产生确定性数值输出的传统模型不同，生成式人工智能系统会基于概率输出看似可信的描述、建议和解释 ，即使这些信息并不完整、带有偏见或有违事实。 本文为银行业生成式人工智能模型的验证提供了一套结构化、可落地的实操方法。具体包括： 识别形成生成式人工智能模型验证监管原则的合规与伦理驱动因素； 阐释为何传统验证技术不适用于生成式人工智能模型的验证； 对于董事会和高级管理层而言，这种转变带来了全新的问责挑战：生成式人工智能的输出可能会影响客户交互、合规决策和管理报告，且其运作方式无法完美适配现有的风控体系。 提出了毕马威对生成式人工智能模型验证的框架，该框架以现有模型验证实践为基础进行扩展，充分考虑生成式人工智能自身的特定风险，如幻觉问题、提示敏感性、以及第三方依赖性和不当使用等风险。 生成式人工智能要求模型所有者和开发者重新审视系统的设计、文档记录和测试流程，因为其风险不仅来自数据和算法，还来自提示词、检索机制和业务运行场景。 我们的目的并不是阻碍创新，而是通过将稳健的验证机制作为生成式人工智能治理的核心要素，使银行能够负责任地应用这一技术。 这个挑战在模型验证和模型风险管理（MRM）职能中最为严峻。目前的模型验证框架是为输出明确、可解释性强的模型设计的。相比之下，生成式人工智能系统具有动态性，缺乏透明度，并且经常依赖于第三方供应商。因此，验证工作的重心将会从核验数学层面的正确性，转向持续确认模型的行为是否始终符合银行的风险偏好。 © 2026毕马威华振会计师事务所(特殊普通合伙) —中国合伙制会计师事务所，毕马威企业咨询(中国)有限公司—中国有限责任公司，毕马威会计师事务所—澳门特别行政区合伙制事务所，及毕马威会计师事务所—香港特别行政区合伙制事务所，均是与毕马威国际有限公司(英国私营担保有限公司)相关联的独立成员所全球组织中的成员。版权所有，不得转载。在中国印刷。 背景与动因 4银行业生成式人工智能模型验证 生成式人工智能代表了人工智能的领域一次范式演变，它能够根据从海量数据集中习得的特征自动生成文本、图像、代码和其他复杂内容。这一演变给金融机构的模型风险、治理需求和验证要求带来了全新维度的挑战。 生成式人工智能包含多种模型架构，目前对于银行业应用最广的几类架构包括： 大语言模型（LLM）：以业界顶尖的自研大语言模型为代表，这些模型基于大量文本语料训练而成，能够像人类一样流畅地处理、总结和生成自然语言信息。 代理式人工智能和自主系统：除了简单生成内容之外，这类“智能体”还能够自主执行多步骤工作流程，例如处理争议或执行纠正任务，使生成式人工智能不再只是被动开展分析，还可以主动执行任务 。 扩散模型和多模态架构：这类模型将生成能力从文本扩展到包括视频、音频和数据模态，使银行内的各个职能得以实现高级自动化。 小语言模型（SLM）：这类模型是轻量级、面相特定领域的专有模型，针对效率、隐私保护和本地部署进行了优化，因此在强监管行业的重要性日益显现。 金融机构正利用这些模型实现自动化分析，提升报告质量并辅助决策制定。其应用范围广泛，涵盖所有关键领域，包括： 生成式人工智能给模型风险带来了诸多挑战 然而，复杂的生成式人工智能模型也带来了比传统模型更为显著的风险。核心挑战包括数据隐私和保密问题，尤其是敏感数据的外部处理导致的风险，以及员工使用未经批准的公开工具带来的“影子人工智能”风险。模型偏见引起的伦理问题，加上“幻觉”和编造事实等问题，会造成重大的声誉和合规风险，而可解释性和可追溯性不足也影响了结果的可复现性。 •自动信贷决策：将生成式人工智能模型集成到决策引擎中，从而可以通过非结构化信息（如财务报表和市场披露信息）确定信用等级。 •软件工程和数据迁移：通过代码生成和调试助手加快开发周期，同时促进既有代码库的转译和现代化，以减少技术债务。 尤为关键的是，依赖少数外部模型供应商会产生第三方集中度风险。在这种情况下，单一供应商出现问题很可能会影响银行内多个关键职能。此外，包括《欧盟人工智能法案》和《数字运营韧性法案》（DORA）在内的新兴监管框架对已部署的人工智能系统形成了更严格的问责标准。 •交易监控与合规管理：检测异常交易行为，并自动起草可疑活动报告（SAR）或生成关于疑点的解释说明。 •预警系统：总结大量市场新闻和内部报告，提前识别潜在风险的信号。 •数据质量和元数据管理：使用大语言模型来检测数据质量问题，推断元数据，并对数据进行分类以便后续建模。 鉴于生成式人工智能的潜在影响范围，全面的模型验证成为了生成式人工智能治理框架的核心控制要素。它能确保模型在技术上文件可靠，符合伦理和监管期望，并能有效融入现有的模型风险管理体系。系统性的验证方法可为监管机构和利益相关提供透明度，降低运营和声誉风险，并帮助银行负责任地使用生成式人工智能。 •知识管理和政策查询：部署基于检索增强生成技术（RAG）的系统，使员工能够查询海量内部监管规则和法律文档，实现及时精准的信息检索。 •环境、社会和治理（ESG）和声誉风险评分：分析披露和社交媒体内容，生成风险评分，为制定交易对手与行业相关限额提供依据。 这些应用可通过以前难以量化的方式从非结构化数据中挖掘洞察信息，这表明生成式人工智能在推动银行转型方面极富潜力。 监管机构对生成式人工智能模型验证的要求 与生成式人工智能相关的风险已推动监管讨论的重心从宏观的伦理原则转移到具体的验证要求。因此对于金融机构而言，生成式人工智能验证正从一项侧重技术的工作，演变为一个与合规相关的控制过程。尽管法律要求仍因司法管辖区不同而有所差异，但监管思路已达成共识，即围绕对生成式人工智能的概率性输出行为特征来进行管控、追溯和持续监督。 关键监管框架 欧盟（欧盟人工智能法案和监管期望）：欧盟已采用基于风险导向的法律框架。对于银行业的场景应用，如信用评估或风险评分等，通常被归类为“高风险”用例。这要求银行开展严格的数据治理、记录留存和人工监督。此外，欧洲银行业管理局(EBA)和欧洲央行（ECB）等监管机构要求银行将现有的模型风险管理原则应用于生成式人工智能，要求开展与模型的复杂性和重要性相匹配的独立验证。 美国（美国国家标准与技术研究院（NIST）和模型风险管理监督指南（SR 11-7））：美国的监管方式结合了NIST人工智能风险管理框架以及现有的银行业监管指引（如SR 11-7）。在实践中，并非所有的生成式人工智能应用都被纳入模型风险管理的范畴，即使这些应用从技术角度来说也属于模型。监管对模型的分类越来越多倾向由具体应用场景驱动，而不是“一刀切”，从而使其管理方式与用例实际产生的风险相匹配，例如，避免将辅助性工具纳入模型风险管理。在生成式人工智能用例被视为模型的情况下，验证重点是具体实施方式的适当性和有效性（例如RAG架构和提示词策略），而非对第三方提供的基础模型进行深入的概念性评估。独立验证应该以风险为导向，并与用例的重要性匹配，而更广泛的人工智能治理则沿用NIST原则。 中国香港（香港金融管理局（HKMA）和香港证券及期货事务监察委员会（SFC））：香港在人工智能创新方面采取审慎与鼓励并重的态度。其中，HKMA发布了《应用人工智能高层原则》及《生成式人工智能沙盒实务洞见报告》，并要求人工智能应用的可解释性与其重要性相匹配，同时提供了生成式人工智能模型验证的实践案例。此外，SFC在《生成式AI语言模型的使用》中要求持牌法团在受规管活动中（例如提供投资意见）应用生成式人工智能模型时进行模型风险管理。HKMA与SFC均明确金融机构需落实独立验证、持续审查和监控机制，以确保模型的准确性。 国际标准（国际标准化组织（ISO）和经合组织（OECD））：包括ISO 42001在内的国际标准为人工智能管理体系的制定提供了基础框架。这些框架强调，验证工作不能仅局限在技术性能，还需延伸到伦理问责层面，以确保模型符合社会公平和反歧视等社会规范。 虽然不同司法管辖区的具体法律文本有所不同，但对银行业的整体影响是一致的，都要求从纯粹的技术测试转向更广泛的由治理驱动的验证程序。为满足此类监管期望，金融机构必须围绕四个关键点来搭建其验证体系。 所以，需要测试模型是否能够引述信息来源（例如，从RAG架构中的引用溯源），并确保输出内容基于事实数据，而非幻觉编造的信息验证工作如同一道控制闸门，确保生成式人工智能的“魔法” 不会侵犯客户的透明度权利。 2.1向风险导向型验证转变 2.4运营韧性和持续监控 监管机构，尤其是欧盟的监管机构，承认并非所有的生成式人工智能应用都具有同等的风险。用于内部信息技术支持的聊天机器人不会像自动信贷决策引擎那样对金融稳定或消费者权利构成威胁。因此，监管机构要求采取风险导向型的方法，验证深度应与用例的重要性和风险等级相匹配。验证的资源需要相应做动态的分配，对高风险应用应该进行严格的对抗性测试(AdversarialTesting)和深度可解释性分析，而对于低风险的、面向内部使用的工具可以采用简化的治理流程。 与不经调整就不会改变的传统统计模型不同，生成式人工智能系统会动态变化，并且容易因用户提示词变化或基础模型更新导致“漂移”问题。欧盟的《数字运营韧性法案》和NIST的《人工智能风险管理框架》等规范均已着重指出部署前测试不足的问题。必须将验证重新视为一项全生命周期活动。这就需要对生产环境中的监控智能体进行验证，以确保能够实时发现错误输出、性能下降或数据泄露等问题。监管机构明确要求：必须实施连续控制，以确保模型在首次上线后长时间保持安全运行。 2.2管理第三方和供应商风险 正如上文关于“基础模型”相关的说明，银行很少从零开始训练大语言模型，他们通常会选择合适的第三方模型（如通过API或云平台接入）。由此产生了独特的监管难题：在基础训练数据和模型权重闭源，银行无法获取的情况下，如何遵守SR 11-7等监管要求？监管机构要求，无法获知此类信息不等于银行可以免除问责。因此，验证方式必须从检查源代码向质疑供应商转变。包括开展严格的基于输出结果的测试，审查供应商文件（ 如 模 型 卡 ） ， 并 验 证 第 三 方 模 型 外 围 的 “ 封 装 层（wrapper）”或管控措施，以确保外部模型在银行风险偏好范围内运行。 除了正式监管之外，金融机构还应确保在人工智能系统的设计和验证中引入伦理标准、社会价值观和规范。《经合组织人工智能原则》和欧盟委员会《可信赖人工智能伦理准则》等框架中均已提出“公平、透明、问责和人类监督”等核心原则。对于模型验证，这些原则衍生出具体的控制要求：必须证明输出不存在系统偏见，决策路径具有可解释性，且关键用例具备适当的人机协同机制。 “毕马威可信人工智能框架”综合了上述原则，可用于在人工智能全生命周期内负责任地设计、构建、部署和使用人工智能，并通过以下核心支柱落地实施：人工监督和问责、公平性、透明度/披露、可解释性、数据质量、隐私、网络安全和稳健性、应用安全性和可持续性等。 2.3落实可解释性和透明度要求 生成式人工智能的非确定性和“黑盒”性质与现有的消费者保护法（如《通用数据保护条例》（GDPR）对“解释权”的规定或美国对“不利行动通知”的要求）存在冲突。监管机构要求，如果人工智能参与银行业务决策，那么该决策必须可追溯、可理解。由于生成式人工智能模型无法始终解释其内部的神经网络路径，因此验证工作必须聚焦在功能层面的可解释性。 8 银行业生成式人工智能模型验证 沙盒实践项目中的模型验证实操 中国香港生成式人工智能模型监管要求 HKMA在2024年推出生成式人工智能模型沙盒实践项目，让金融机构在风险可控的环境中探索并测试生成式人工智能模型在风险管理