管理解释：监管机构如何解决人工智能的可解释性

由Fernando Pérez-Cruz, Jermy Prenio, Fernando Restoy, Jeffery Yong JEL分类：C60，G29，G38，O30 关键词：人工智能，机器学习，模型风险管理，风险治理 fsi occasional papers aim to contribute to international discussions on a wide range of topics of relevance to the financial industry and its regulation and supervision. the views expressed in them are solely those of the authors and donot necessarily reflect those of the bis or the basel-based standard-setting bodies. 本出版物可在国际清算银行网站（www.bis.org）上获取。欲联系国际清算银行全球媒体与公共关系团队，请发送电子邮件至 media@bis.org。您可在 www.bis.org/emailalerts.htm 注册接收电子邮件警报。 摘要 金融机构对人工智能（AI）的日益广泛采用正在改变其运营、风险管理和客户互动方式。然而，复杂AI模型的有限可解释性，尤其是在关键业务应用中，给金融机构和监管机构带来了重大挑战和问题。可解释性，即模型输出向人类解释的程度，对于透明度、问责制、监管合规和消费者信任至关重要。然而，深度学习和大型语言模型（LLM）等复杂AI模型通常难以解释。虽然现有可解释性技术可以帮助揭示复杂AI模型的行为，但这些技术存在显著局限性，包括不准确性、不稳定性以及对误导性解释的易感性。 有限的模型可解释性使得管理模型风险具有挑战性。全球标准制定机构已经发布了一般为高级别的模型风险管理（MRM）要求。然而，只有少数国家金融监管机构发布了具体的指导文件，而且它们往往侧重于用于监管目的的模型。其中许多现有指南可能并未考虑到先进的AI模型，并且没有明确提及模型可解释性的概念。相反，该概念体现在治理、模型开发、文件记录、验证、部署、监控和独立审查的相关规定中。复杂的AI模型要符合这些规定将面临挑战。使用第三方AI模型将加剧这些挑战。 随着金融机构将其AI模型应用于关键业务领域，金融监管机构必须寻求在AI背景下培养与相关健全的MRM实践。最终，可能需要认识到可解释性和模型性能之间的权衡，只要风险得到适当评估和有效管理。允许使用可解释性有限但性能优越的复杂AI模型可能使金融机构能够更好地管理风险并提升客户体验，前提是引入了充分的保护措施。对于监管资本使用案例，复杂AI模型可能被限制在特定风险类别和敞口内，或受输出底部约束。监管机构还必须投入资源提升员工评估AI模型的能力，确保金融机构能够发挥AI的潜力，同时不损害监管目标。 内容 第一部分——引言 ................................................................................................................................................................. 1 第二部分——MRM和可解释性 ........................................................................................................................................... 3 第三部分——在人工智能背景下执行可解释性要求所面临的挑战 .......................................... 7 3.1解释人工智能模型现有方法及潜在局限性 .............................................. 7 3.2应用现有需求面临的挑战 ......................................................................................... 10 第四节——MRM指南的潜在调整 .................................................................................................... 12 第五节——结论 .................................................................................................................................................................. 15 参考文献 .......................................................................................................................................................................................... 16 管理说明：监管机构如何应对人工智能可解释性问题 第一部分——引言 人工智能（AI）模型正越来越多地用于金融机构的所有活中，从内部运到面向客的。Crisanto等人（2024）和FSB（2024）突出了金融领域最近的AI应用案例，发现大部分应用是为了提升内部生产力。金融机构在使用AI进行关键业务应用方面似乎持谨慎态度，尤其是涉及客户互动的应用。然而，随着企业寻求从时间和成本效率、改善客户服务以及加强监管合规和风险管理中获益，预计AI的使用将变得更加普遍，包括在关键业务领域。 一个关键的监管/监督关注点是人工智能模型的可解释性1尤其对于关键业务活动（例如面向客户的、核心业务活动，如承保或确定资本要求）。2虽然可解释性尚无公认的定义，但一些组织已从各自的角度对此概念进行了定义。3美国监管机构将可解释性定义为“人工智能方法如何使用输入来产生输出”。4这是在 FSB（2024）中引用的相同定义。另一方面，经合组织人工智能原则更侧重于以客户为中心，将可解释性定义为实现受人工智能系统结果影响的人能够通过提供易于理解的信息来了解其得出方式。IAIS（2025）将有意义解释定义为提供关于人工智能系统如何做出决策或预测的理解性、透明且相关的见解。PRA（2023）将可解释性描述为模型的工作原理能够用非技术术语理解的程度。 某些AI模型结果的缺乏可解释性可能引发审慎关切。FINMA（2024）指出，某些AI模型结果无法被理解、解释或重现，因此无法被批判性地评估。某些AI模型的可解释性缺乏也可能使监管机构难以核实金融机构在使用模型方面是否符合现有的监管要求，特别是在关键业务领域。IAIS（2025）强调了复杂AI模型可解释性缺乏产生的模型风险，如何导致不当或非法趋势（例如低估风险）未被察觉，最终可能影响保险公司的盈利能力和资产负债表。 可解释性在人工智能模型用于计算监管资本时也同样重要。当内部模型首次被允许在巴塞尔框架中使用时，巴塞尔银行监管委员会强调了这一点：“一个银行人员理解不好的‘黑箱’并不能为评级过程提供信心。” PDs的估计”。5巴塞尔iii通过移除某些风险类别的高级期权使用，并引入输入和输出地板，对这类模型的使用进行了限制。6 人工智能模型可解释性的缺乏可能会加剧系统性风险。7 fsb (2024) 将模型风险、数据质量和治理确定为与人工智能相关的漏洞来源，这些漏洞可能对金融稳定构成风险。报告指出，某些人工智能模型的复杂性和可解释性有限，以及评估数据质量的困难可能会增加缺乏健全人工智能治理的公司面临的模型风险。 可解释人工智能模型的输出从消费者保护角度来看同样重要，以避免歧视性决策。IAIS（2025）指出，可解释性和透明度是建立信任以及追究企业因对消费者构成风险（如非法歧视）所负责任的关键。某些人工智能模型的复杂性可能会使向消费者解释模型结果变得具有挑战性，并可能导致偏见未能被检测到的风险增加。 从金融机构的角度来看，缺乏可解释性构成了采用和部署AI模型的一个障碍。如果金融机构不知道这些模型如何工作，它们会对使用AI模型持谨慎态度。使用缺乏可解释性的AI模型会加剧金融机构的模型风险。因此，克服可解释性挑战对于避免在能够提升客户体验、监管合规、风险管理和运营效率的AI应用用例方面错失机遇至关重要。 因此，监管机构通常期望企业能够解释用于关键活动或用于辅助决策的人工智能模型，以确认模型输出是否适当，并追究企业的责任。总而言之，如果人工智能模型的结果无法被理解，监管机构不太可能信任其结果。 如前所述，人工智能方法论可以帮助金融机构提高其运营效率，改善风险管理，并为客户提供更多更好的服务。因此，一些监管机构已开始认识到，过于严格的可解释性要求可能会阻碍社会期望的创新发展。例如，一些当局现在已隐含允许或明确承认，一些金融机构可能会使用人工智能模型用于监管资本目的。8这可能旨在鼓励创新和更广泛的人工智能应用发展。至少，它表明金融当局需要批判性地审查其当前对受监管机构使用模型指南，考虑到人工智能模型可能带来的可解释性挑战。 现有的模型风险管理（MRM）国际标准和区域监管要求中，部分已明确涵盖或隐含提及可解释性问题。9然而，这些要求通常是高级别的，可能无法捕捉到人工智能模型的特殊性。因此，就人工智能模型而言，对可解释性概念进行更清晰的阐述将有助于补充现有的MRM要求。 本文旨在描述 MRM 的当前监管指南；讨论将其应用于 AI 模型时存在的挑战，特别是在可解释性有限的情况下；并提出解决其中一些挑战的考虑因素。为此，本文回顾了现有的 关于MRM的指导，确定了与模型可解释性相关的要素，分析人工智能模型能够满足该指导的程度，并讨论当前政策框架中可能的改进要素。10 本文的结构如下：第2节讨论可能受到缺乏人工智能可解释性影响的MRM要求。第3节概述了不同的人工智能可解释性方法及其在更复杂的AI模型背景下的实施挑战。第4节描述了对现有MRM要求的潜在调整，以应对这些挑战。第5节总结。 第二节——MRM和可解释性 全球标准制定机构（SSBs）已就金融机构使用模型提供了一些高级别要求。巴塞尔核心原则（BCPs），特别是BCP15（风险管理流程）基本标准6，指出使用风险模型的银行必须遵守模型使用的监管标准，包括对模型进行独立验证和测试的行为。11保险核心原则（ICPs），特别是ICP 16（用于偿付能力的企业风险管理），涉及风险测量的模型使用，包括用于测量技术准备金。12巴塞尔委员会也发布了一些与模型使用相关的其他文件，例如有效风险数据聚合和风险报告的原则，这些原则要求银行准确可靠地生成风险数据，以及压力测试的原则，这些原则规定模型应适合其目的，并应接受挑战和定期审查。13 ssbs还就监管资本目的的模型使用发布了更详细的要求。iais通过其icp 17（资本充足率）提供详细要求，而bcbs则有针对特定风险的指导，特别是信用风险的内部评级法（irb）和市场风险的内部模型法（ima）。14所有要求对内部模型的使用进行有效的治理和控制，并将最终责任分配给董事会和高级管理层，以了解模型输出的后果和局限性。它们还要求金融机构确保模型方法和假设在概念上是健全的，适合预期目的，并具有良好的预测能力。另一个常见的要求是记录模型设计和假设。 近期，IAIS（2025）阐述了现有ICPs在保险公司使用AI背景下的应用