管理解释：监管机构如何解决人工智能的可解释性

由Fernando Pérez-Cruz，Jermy Prenio，Fernando Restoy，Jeffery Yong 2025年9月 JEL分类：C60，G29，G38，O30 关键词：人工智能，机器学习，模型风险管理，风险治理 fsi临时文件旨在就与金融业及其监管和监督相关的广泛主题，为国际讨论做出贡献。其中表达的观点完全是作者的观点，并不一定反映国际清算银行或巴塞尔-based的标准制定机构的观点。 本出版物可在国际清算银行网站（www.bis.org）上获取。如需联系国际清算银行全球媒体与公共关系团队，请发送电子邮件至media@bis.org。您可以在www.bis.org/emailalerts.htm上注册邮件提醒。 国际清算银行2025。版权所有。简短摘录可能会被复制或© B翻译时需标明出处。 摘要 金融机构越来越多地采用人工智能（AI）正在改变其运营、风险管理和客户互动方式。然而，复杂AI模型的有限可解释性，特别是在用于关键业务应用时，对金融机构和监管机构构成了重大挑战和问题。可解释性，即模型输出向人类解释的程度，对于透明度、问责制、监管合规性和消费者信任至关重要。然而，深度学习和大语言模型（LLM）等复杂AI模型通常难以解释。虽然现有的可解释性技术可以帮助揭示复杂AI模型的行为，但这些技术存在显著局限性，包括不准确性、不稳定性以及对误导性解释的易感性。 有限的模型可解释性使得管理模型风险具有挑战性。国际标准制定机构已发布——主要是高级别——模型风险管理（MRM）要求。然而，只有少数国家金融监管机构发布了具体的指导，而且它们往往侧重于用于监管目的的模型。其中许多现有指南可能并未针对先进的AI模型进行制定，并未明确提及模型可解释性的概念。相反，该概念体现在与治理、模型开发、文档记录、验证、部署、监控和独立审查相关的条款中。对于复杂的AI模型来说，遵守这些条款将具有挑战性。使用第三方AI模型将加剧这些挑战。 随着金融机构将人工智能模型应用于其关键业务领域，金融监管机构有必要寻求在人工智能背景下相关健全的模型风险管理与模型输出（MRM）实践。最终，可能需要在可解释性和模型性能之间做出权衡，只要风险得到适当评估和有效管理。允许使用可解释性有限但性能优越的复杂人工智能模型，或许能够使金融机构更好地管理风险并提升客户体验，前提是引入了充分的保护措施。对于监管资本应用场景，复杂人工智能模型可能被限制在特定的风险类别和敞口范围内，或受到输出下限的约束。监管机构还必须投入资源提升员工评估人工智能模型的能力，以确保金融机构能够发挥人工智能的潜力，同时不损害监管目标。 内容 第一部分——引言 ................................................................................................................................................................. 1 第二部分——MRM和可解释性 ........................................................................................................................................... 3 第三部分——在AI背景下执行可解释性要求所面临的挑战 .......................................... 7 3.1现有解释人工智能模型的方法及潜在的局限性 .............................................. 7 3.2应用现有需求面临的挑战 ......................................................................................... 10 第 4 节 – MRM 指南的潜在调整 .................................................................................................... 12 第 5 节 – 结论 .................................................................................................................................................................. 15 参考文献 .......................................................................................................................................................................................... 16 管理解释：监管机构如何应对人工智能可解释性问题 第一部分 – 简介 人工智能（AI）模型正越来越多地应用于金融机构的所有业务活动，从内部运营到面向客户的业务。Crisanto等人（2024）和FSB（2024）强调了金融领域最近的人工智能应用案例，发现大多数应用是为了提高内部生产效率。金融机构在使用人工智能进行关键业务应用方面似乎比较谨慎，尤其是那些涉及客户互动的应用。尽管如此，随着公司寻求从时间和成本效率、改善客户服务以及加强监管合规和风险管理中获益，预计人工智能的使用将变得更加普遍，包括在关键业务领域。 一个关键的监管/监督关注点是人工智能模型的可解释性1特别是对于关键业务活动（例如面向客户的、核心活动，如承保或确定资本要求）。2虽然可解释性没有普遍公认的定义，但一些组织从各自的视角定义了这个概念。3美国监管机构将可解释性定义为“人工智能方法如何使用输入来生成输出”。4这是在FSB（2024）中引用的相同定义。另一方面，经合组织（OECD）的人工智能（AI）原则更侧重于以客户为中心，将可解释性定义为通过提供易于理解的信息，使受到人工智能系统结果影响的人能够了解其是如何得出的。IAIS（2025）将有意义解释定义为向人们提供关于人工智能系统如何做出决策或预测的理解性强、透明且相关的见解。PRA（2023）将可解释性描述为模型工作原理在非技术术语下可被理解的程度。 某些AI模型结果的缺乏可解释性可能引发审慎关切。FINMA（2024）指出，某些AI模型结果无法被理解、解释或重现，因此无法进行批判性评估。某些AI模型的缺乏可解释性也可能使监管机构难以确定金融机构在模型使用方面是否符合现有的监管要求，特别是在关键业务领域。IAIS（2025）强调了复杂AI模型缺乏可解释性所导致的模型风险，如何会导致不必要的或非法的趋势（例如低估风险）未被察觉，最终可能影响保险公司的盈利能力和资产负债表。 可解释性在使用 AI 模型计算监管资本方面也同样重要。当内部模型首次被巴塞尔框架允许时，巴塞尔委员会强调，“一个银行人员理解不佳的‘黑箱’并不能为评级过程或 PDs的估计”。5巴塞尔iii通过移除某些风险类别中使用的高级选项并引入输入和输出地板来缓和此类模型的使用。6 缺乏人工智能模型可解释性可能会潜在地导致系统性风险加剧。7 fsb (2024) 将模型风险、数据质量和治理确定为可能导致对金融稳定构成风险的ai相关漏洞来源。报告指出，某些ai模型的复杂性和有限的解释性，以及评估数据质量的困难，可能会增加缺乏稳健ai治理的公司面临的模型风险。 可解释的人工智能模型输出从消费者保护的角度也很重要，以避免歧视性决策。IAIS（2025）指出，可解释性和透明度是建立信任以及追究企业对消费者所面临风险（如非法歧视）责任的关键。某些人工智能模型的复杂性可能会使向消费者解释模型结果变得具有挑战性，并可能导致偏见被未检测到的风险增加。 从金融机构的角度来看，缺乏可解释性构成了采用和部署AI模型的障碍。如果金融机构不知道这些模型的工作原理，他们会谨慎使用AI模型。使用缺乏可解释性的AI模型会加剧金融机构的模型风险。因此，克服可解释性挑战对于避免在能够提升客户体验、监管合规、风险管理和运营效率的AI应用场景中错失机会至关重要。 因此，监管者通常期望企业能够解释用于关键活动或辅助决策的人工智能模型，以确定模型输出是否合适，并对企业进行问责。总而言之，如果人工智能模型的结果无法被理解，监管者不太可能信任其结果。 如前所述，人工智能方法论可以帮助金融机构提高其运营效率，改进风险管理，并为客户提供更多更好服务。因此，一些监管机构已经开始认识到，过于严格的可解释性要求可能会阻碍社会所期望的创新。例如，一些当局现在隐含地允许或明确地承认，一些金融机构可能正在使用人工智能模型用于监管资本目的。8这可能旨在鼓励创新以及更广泛的人工智能应用发展。至少，它表明金融当局需要批判性地审查其对受监管机构使用模型现行指南，并考虑到人工智能模型可能带来的可解释性挑战。 现存在关于模型风险管理（MRM）的国际标准和区域监管要求，其中一些已明确涵盖或隐含提及可解释性问题。9尽管如此，这些要求通常是高级别的，可能无法捕捉到人工智能模型的特殊性。因此，就人工智能模型而言，对可解释性概念进行更清晰的阐述将有助于补充现有的MRM要求。 本文旨在描述 MRM 的现行监管指南；讨论将其应用于 AI 模型时存在的挑战，特别是在可解释性有限的情况下；并提出解决其中一些挑战的考虑因素。为此，本文回顾了现有的 关于MRM的指导方针，识别了与模型可解释性相关的元素，分析了该指导方针在多大程度上可以被AI模型满足，并讨论了当前政策框架中可能的改进元素。10 本文的结构如下：第二节讨论可能受缺乏人工智能可解释性影响的MRM需求。第三节概述了不同的AI可解释性方法论以及在更复杂的人工智能模型背景下实施它们的挑战。第四节描述了对现有MRM需求的潜在调整，以应对这些挑战。第五节总结。 第二节——混合模型推理和可解释性 全球标准制定机构（SSBs）已经对金融机构使用模型提出了一些高阶要求。巴塞尔核心原则（BCPs），特别是BCP15（风险管理流程）基本标准6，规定使用风险模型的银行必须遵守模型使用的监管标准，包括对模型进行独立验证和测试。11保险核心原则（ICPs），特别是ICP 16（为偿付能力目的的企业风险管理），涉及风险测量的模型使用，包括用于测量技术准备金。12巴塞尔银行监管委员会（BCBS）也存在其他与模型使用相关的重要文件，例如有效风险数据聚合和风险报告的原则，这些原则要求银行准确可靠地生成风险数据，以及压力测试原则，这些原则规定模型应适合其目的并应接受挑战和定期审查。13 ssbs还就监管资本目的下模型的使用发布了更详细的要求。iais通过其icp 17（资本充足率）提供了详细的要求，而bcbs则有风险特定的指导，特别是信用风险的内部评级基础（irb）方法和市场风险的内部模型方法（ima）。14所有要求有效治理和控制内部模型的使用，并将最终责任分配给董事会和高级管理层，以了解模型输出的后果和局限性。它们还要求金融机构确保模型方法和假设在概念上是合理的，适合预期用途，并具有良好的预测能力。另一个常见的要求是记录模型设计和假设。 最近，IAIS（2025）阐述了现有ICPs在保险公司使用人工智能的背景下的应用方式。它涵盖了治理和风险管理领域，这些领域在部署人工智能时已被确定为需要特别关注的方面。它还涵盖了技术方面（如数据治理和模型验证）以及其他旨在支持监管机构和保险公司管理人工智能引入或增强的风险的活动。框1概述了如何应用ICPs来解决人工智能模型的可