AI型风险管理框架

@2025云安全联盟大中华区－保留所有权利。你可以在你的电脑上下载.储存.展示.查看及打印，或者访问云安全联盟大中华区官网（https://www.c-csa.cn）。须遵守以下：（a）本文只可作个人.信息获取.非商业用途；（b）本文内容不得篡改；（c）本文不得转发；（d）该商标.版权或其他声明不得删除。在遵循中华人民共和国著作权法相关条款情况下合理使用本文内容，使用时请注明引用于云安全联盟大中华区。 致谢 《AI模型风险管理框架》由CSA云安全联盟专家编写，并由CSA大中华区AI安全工作组完成翻译并审校。（以下排名不分先后）： 中文版翻译专家组 翻译组成员： 郭建领卞超轶黄鹏华王绪国卜宋博张淼潘季明张亮 审校组成员： 高健凯卜宋博 英文版编写专家组 主要作者： MariaSchwengerVaniMittal EricTierlingHadirLabibMichaelRozaRenataBudko 审稿人： CandyAlexanderDanielC ElierCruz HarieSrinivasaBangaloreRamThilakKaranGoenkaKennethThomasMorasNamalKulathungaNicolasRayOttoSulinRohitValiaSanitraAngramTomBowyerVaibhavMalikYuvarajMadheswaran 联席组长： ChrisKirschkeMarkYanalitis CSA全球工作人员： JoshBukerMarinaBregkouStephenSmith 目录 致谢.........................................................................4前言.........................................................................8目标读者.....................................................................9范围........................................................................10引言........................................................................10 型卡片，数据手册，风险卡片，场景规划........................15 1.增强透明度，可解释性和问责制...........................................172.主动风险评估和场景分析.................................................183.制定风险缓解策略.......................................................184.明智决策与模型治理.....................................................185.健壮模型验证...........................................................186.建立信任并增强模型采纳.................................................197.持续监控和改进.........................................................198.积极社会与伦理影响.....................................................199.强有力的治理和监督.....................................................19 1.模型卡片：理解模型.....................................................202.数据手册：检查训练数据.................................................243.风险卡片：识别潜在问题.................................................27 4.场景规划：“假设”方法.................................................31四、总体技术：一种整合方法..................................................381.利用模型卡信息创建风险卡...............................................382.使用数据手册加强模型理解...............................................383.使用风险卡指导场景规划.................................................394.场景规划对风险管理和开发的反馈.........................................435.AIMRM在行动..........................................................45五、结论与展望..............................................................50参考文献....................................................................51附录1:人工智能框架、法规和指南..............................................53 前言 先进的机器学习（ML）模型的广泛应用在诸如预测性维护、欺诈检测、个性化医疗、自动驾驶汽车和智能供应链管理等领域带来了激动人心的机遇。机器学习模型有助于推动创新性和效率的提高，但其广泛应用也带来了内在的风险，尤其是源自模型自身的风险。如果这些风险得不到有效缓解，可能导致巨大的经济损失、监管问题以及声誉损害。为了解决这些问题，我们需要一种积极的风险管理方法。 模型风险管理（ModelRiskManagement,MRM）是推动组织在开发、部署在使用人工智能（AI）及机器学习模型时建立责任和信任文化的关键因素，它能够帮助组织最大程度发挥这些技术潜力的同时，最小化风险。 本报告探讨了模型风险管理在AI模型应用任开发、部署和使用方面的重要性，适用于对该主题有兴趣的读者群体，包括直接参与AI开发的从业者以及专注于AI治理的业务和合规监管机构。 本报告强调了与AI模型相关的内在风险，如数据偏见、事实性错误或信息不相关（通常被称为“幻觉”或“虚构”）、以及潜在的滥用行为。同时，提出了一个全面的MRM框架的需求，该框架基于四个相互关联的支柱：模型卡片（ModelCards）、数据手册（DataSheets）、风险卡片（RiskCards）和场景规划（ScenarioPlanning），上述支柱协同工作，通过持续的反馈循环来识别和减轻风险，并改进模型开发与风险管理。具体而言，模型卡片和数据手册为风险评估提供信息，风险卡片则指导场景规划，场景规划进一步优化风险管理和模型开发。 通过实施这一框架，组织可以确保ML模型的安全和有效使用，并带来以下关键优势： 提高透明度和可解释性 主动应对风险和“内生安全” 做出明智的决策 与利益相关者和监管机构建立信任 本报告强调了模型风险管理的重要性，以便在最大限度发挥AI和ML潜力的同时，最小化风险。 目标读者 AI模型风险管理（MRM）面向开发和部署机器学习模型且对AI风险有共同兴趣的广泛读者群体。它旨在弥合技术和非技术利益相关者之间的鸿沟，既服务于直接参与AI开发技术工作的人员，也关注AI治理和监管的相关人员。 该目标读者可以分为以下两个主要群体： 1.AI模型开发与实施的从业者 机器学习工程师和数据科学家：这一群体将从模型卡片（ModelCards）和数据手册（DataSheets）的详细解释中获益，了解这些组件如何促进模型的理解和开发。掌握这些要素使他们能够构建更透明且负责任的模型。 AI开发人员和项目经理：这一群体将发现有助于预见AI模型生命周期中潜在问题的工具，从概念设计到实施，确保模型的负责任部署。 2.AI治理与监管的利益相关者 风险管理专业人士、合规官员和审计员:这一群体将对MRM的重要性及其与常见行业框架的对齐部分特别感兴趣，这些内容对建立、执行和评估有效的治理实践至关重要。 业务领导者和高管:他们将从简介和结论部分获益，这些部分强调了MRM在推动组织内负责任的AI应用中的重要性。 沟通与公共关系专业人士:这一群体将从有关AI模型风险与效益的沟通、利益相关者参与和声誉管理的章节中受益，以及学习如何为不同受众设计有影响力的信息。 范围 本文探讨了模型风险管理（MRM）及其在负责任的AI开发中的重要性，深入分析了有效MRM框架的四大支柱及其如何协同合作，从而形成一个全面的MRM方法。我们讨论了这些技术如何促进透明性、问责制和负责任的AI开发。 本文强调了MRM在塑造未来伦理和负责任AI中的作用。需要注意的是，本文主要关注MRM的概念和方法论方面，而不涉及以人为中心的内容，例如角色分配、责任归属、RACI矩阵以及跨职能参与等问题，这些内容在CSA出版物《AI组织职责——核心安全职责》中已有详细阐述。 引言 MRM的必要性和重要性 当今，复杂的AI/ML模型在各行业中正以前所未有的速度被采用。一方面，对机器学习模型的日益依赖为创新和效率提升带来了巨大潜力；另一方面，它也引入了固有的风险，特别是与模型本身相关的风险——模型风险。如果不加以控制，这些风险可能会导致严重的经济损失、监管处罚以及声誉受损。训练数据中的偏见、模型输出中的事实错误（通常称为“幻觉”或“虚构”），以及潜在的滥用风险，再加上隐私问题和知识产权（IP）问题，都需要采取积极的风险管理方法。因此，AI模型风险管理（MRM）成为确保这些模型负责任和可信赖开发、部署和使用的重要学科。 MRM这一术语在金融等行业中广泛使用，传统上是指管理与量化模型相关的风险。而在本文中，这一既有概念被应用于管理与AI模型相关的风险。 AIMRM有助于应对与AI模型相关的复杂性、不确定性和脆弱性，增强用户、利益相关者和监管者对AI驱动决策的可靠性和公平性的信心。随着AI的不断发展并渗透到更多领域，MRM将在塑造负责任的AI部署未来中发挥越来越重要的作用，使企业和行业从中受益。 模型风险源于模型本身的固有限制。以下是几种最常见的AI模型风险来源 数据质量问题:任何模型的基础是数据。不准确、不完整或片面的数据可能导致模型缺陷，进而产生不可靠的输出和错误的结论。例如，如果一个模型使用代表性不足的高风险借款人历史数据来预测贷款违约率，它可能低估未来违约的风险，从而导致经济损失。 模型选择、调优和设计缺陷:为特定任务选择错误的模型架构或使用不合适的算法会显著影响模型的有效性和可靠性。例如，使用线性回归模型预测高度非线性的现象（如股票市场波动）可能会产生误导性的结果。此外，在使用开源模型时，确保模型的完整性也非常重要。最终用户应能够验证模型签名，以确保他们使用的是正确的模型，并且模型卡片准确地描述了模型的能力和局限性。 一流模型固有的风险:即使是由知名供应商发布的顶尖模型，也可能因自身的不足而带来固有风险，例如