AI型风险管理框架

2025云安全联盟大中华区版权所有1 2025云安全联盟大中华区保留所有权利。你可以在你的电脑上下载储存展示查看及打印，或者访问云安全联盟大中华区官网（httpswwwccsacn）。须遵守以下：（a）本文只可作个人信息获取非商业用途；（b）本文内容不得篡改；（c）本文不得转发；（d）该商标版权或其他声明不得删除。在遵循中华人民共和国著作权法相关条款情况下合理使用本文内容，使用时请注明引用于云安全联盟大中华区。 2025云安全联盟大中华区版权所有2 2025云安全联盟大中华区版权所有3 致谢 《AI模型风险管理框架》由CSA云安全联盟专家编写，并由CSA大中华区AI安全工作组完成翻译并审校。（以下排名不分先后）： 中文版翻译专家组 翻译组成员： 郭建领卞超轶黄鹏华王绪国卜宋博张淼潘季明张亮 审校组成员： 高健凯卜宋博 英文版编写专家组 主要作者： MariaSchwengerVaniMittal 其他贡献者： EricTierlingHadirLabibMichaelRozaRenataBudko 审稿人： CandyAlexanderDanielCElierCruz 2025云安全联盟大中华区版权所有4 HarieSrinivasaBangaloreRamThilakKaranGoenkaKennethThomasMorasNamalKulathungaNicolasRayOttoSulinRohitValiaSanitraAngram TomBowyerVaibhavMalik YuvarajMadheswaran 联席组长：ChrisKirschkeMarkYanalitis CSA全球工作人员： JoshBukerMarinaBregkouStephenSmith 2025云安全联盟大中华区版权所有5 目录 致谢4 前言8 目标读者9 范围10 引言10 一、四大支柱：模型卡片，数据手册，风险卡片，场景规划15 二、全面框架的好处17 1增强透明度，可解释性和问责制17 2主动风险评估和场景分析18 3制定风险缓解策略18 4明智决策与模型治理18 5健壮模型验证18 6建立信任并增强模型采纳19 7持续监控和改进19 8积极社会与伦理影响19 9强有力的治理和监督19 三、关键组成部分20 1模型卡片：理解模型20 2数据手册：检查训练数据24 3风险卡片：识别潜在问题27 2025云安全联盟大中华区版权所有6 4场景规划：“假设”方法31 四、总体技术：一种整合方法38 1利用模型卡信息创建风险卡38 2使用数据手册加强模型理解38 3使用风险卡指导场景规划39 4场景规划对风险管理和开发的反馈43 5AIMRM在行动45 五、结论与展望50 参考文献51 附录1人工智能框架、法规和指南53 2025云安全联盟大中华区版权所有7 前言 先进的机器学习（ML）模型的广泛应用在诸如预测性维护、欺诈检测、个性化医疗、自动驾驶汽车和智能供应链管理等领域带来了激动人心的机遇。机器学习模型有助于推动创新性和效率的提高，但其广泛应用也带来了内在的风险，尤其是源自模型自身的风险。如果这些风险得不到有效缓解，可能导致巨大的经济损失、监管问题以及声誉损害。为了解决这些问题，我们需要一种积极的风险管理方法。 模型风险管理（ModelRiskManagementMRM）是推动组织在开发、部署在使用人工智能（AI）及机器学习模型时建立责任和信任文化的关键因素，它能够帮助组织最大程度发挥这些技术潜力的同时，最小化风险。 本报告探讨了模型风险管理在AI模型应用任开发、部署和使用方面的重要性，适用于对该主题有兴趣的读者群体，包括直接参与AI开发的从业者以及专注于AI治理的业务和合规监管机构。 本报告强调了与AI模型相关的内在风险，如数据偏见、事实性错误或信息不相关（通常被称为“幻觉”或“虚构”）、以及潜在的滥用行为。同时，提出了一个全面的MRM框架的需求，该框架基于四个相互关联的支柱：模型卡片（ModelCards）、数据手册（DataSheets）、风险卡片（RiskCards）和场景规划（ScenarioPlanning），上述支柱协同工作，通过持续的反馈循环来识别和减轻风险，并改进模型开发与风险管理。具体而言，模型卡片和数据手册为风险评估提供信息，风险卡片则指导场景规划，场景规划进一步优化风险管理和模型开发。 通过实施这一框架，组织可以确保ML模型的安全和有效使用，并带来以下关键优势： 提高透明度和可解释性 主动应对风险和“内生安全” 做出明智的决策 与利益相关者和监管机构建立信任 2025云安全联盟大中华区版权所有8 本报告强调了模型风险管理的重要性，以便在最大限度发挥AI和ML潜力的同时，最小化风险。 目标读者 AI模型风险管理（MRM）面向开发和部署机器学习模型且对AI风险有共同兴趣的广泛读者群体。它旨在弥合技术和非技术利益相关者之间的鸿沟，既服务于直接参与AI开发技术工作的人员，也关注AI治理和监管的相关人员。 该目标读者可以分为以下两个主要群体： 1AI模型开发与实施的从业者 机器学习工程师和数据科学家：这一群体将从模型卡片（ModelCards）和数据手册 （DataSheets）的详细解释中获益，了解这些组件如何促进模型的理解和开发。掌握这些要素使他们能够构建更透明且负责任的模型。 AI开发人员和项目经理：这一群体将发现有助于预见AI模型生命周期中潜在问题的工具，从概念设计到实施，确保模型的负责任部署。 2AI治理与监管的利益相关者 风险管理专业人士、合规官员和审计员这一群体将对MRM的重要性及其与常见行业框架的对齐部分特别感兴趣，这些内容对建立、执行和评估有效的治理实践至关重要。 业务领导者和高管他们将从简介和结论部分获益，这些部分强调了MRM在推动组织内负责任的AI应用中的重要性。 沟通与公共关系专业人士这一群体将从有关AI模型风险与效益的沟通、利益相关者参与和声誉管理的章节中受益，以及学习如何为不同受众设计有影响力的信息。 2025云安全联盟大中华区版权所有9 范围 本文探讨了模型风险管理（MRM）及其在负责任的AI开发中的重要性，深入分析了有效MRM框架的四大支柱及其如何协同合作，从而形成一个全面的MRM方法。我们讨论了这些技术如何促进透明性、问责制和负责任的AI开发。 本文强调了MRM在塑造未来伦理和负责任AI中的作用。需要注意的是，本文主要关注MRM的概念和方法论方面，而不涉及以人为中心的内容，例如角色分配、责任归属、RACI矩阵以及跨职能参与等问题，这些内容在CSA出版物《AI组织职责核心安全职责》中已有详细阐述。 引言 MRM的必要性和重要性 当今，复杂的AIML模型在各行业中正以前所未有的速度被采用。一方面，对机器学习模型的日益依赖为创新和效率提升带来了巨大潜力；另一方面，它也引入了固有的风险，特别是与模型本身相关的风险模型风险。如果不加以控制，这些风险可能会导致严重的经济损失、监管处罚以及声誉受损。训练数据中的偏见、模型输出中的事实错误（通常称为“幻觉”或“虚构”），以及潜在的滥用风险，再加上隐私问题和知识产权（IP）问题，都需要采取积极的风险管理方法。因此，AI模型风险管理（MRM）成为确保这些模型负责任和可信赖开发、部署和使用的重要学科。 MRM这一术语在金融等行业中广泛使用，传统上是指管理与量化模型相关的风险。而在本文中，这一既有概念被应用于管理与AI模型相关的风险。 AIMRM有助于应对与AI模型相关的复杂性、不确定性和脆弱性，增强用户、利益相关者和监管者对AI驱动决策的可靠性和公平性的信心。随着AI的不断发展并渗透到更多领域，MRM将在塑造负责任的AI部署未来中发挥越来越重要的作用，使企业和行业从中受益。 2025云安全联盟大中华区版权所有10 从本质上讲，模型风险源于模型本身的固有限制。以下是几种最常见的AI模型风险来源： 数据质量问题任何模型的基础是数据。不准确、不完整或片面的数据可能导致模型缺陷，进而产生不可靠的输出和错误的结论。例如，如果一个模型使用代表性不足的高风险借款人历史数据来预测贷款违约率，它可能低估未来违约的风险，从而导致经济损失。 模型选择、调优和设计缺陷为特定任务选择错误的模型架构或使用不合适的算法会显著影响模型的有效性和可靠性。例如，使用线性回归模型预测高度非线性的现象（如股票市场波动）可能会产生误导性的结果。此外，在使用开源模型时，确保模型的完整性也非常重要。最终用户应能够验证模型签名，以确保他们使用的是正确的模型，并且模型卡片准确地描述了模型的能力和局限性。 一流模型固有的风险即使是由知名供应商发布的顶尖模型，也可能因自身的不足而带来固有风险，例如幻觉、有害言论、偏见和数据泄露。这些风险可能产生深远影响，不仅影响个别组织，还可能影响整个社会。 实施和操作错误一个设计良好的模型在实施过程中可能会受到破坏。不正确的编码、控制不足或与现有系统的不当集成都可能引发模型部署错误。例如，一个信用评分模型可能在开发中是正确的，但其在贷款处理系统中的实施存在缺陷，可能导致不准确的评估和不公平的贷款拒绝。安全性也是一个关键的操作风险集，这些风险既包括应用级别和访问级别的已知漏洞，也包括生成式AI时代的新风险，如提示注入。AI模型还增加了模型本身试图改变模型用户决策的风险。 外部因素的演变模型通常基于历史数据进行训练，假设基础环境具有一定的稳定性。然而，现实世界在不断变化。经济衰退、新法规或不可预见的事件可能使历史数据变得不相关，从而导致模型产生不可靠的预测。例如，一个基于以往购买习惯来预测客户流失的模型，可能在全球疫情导致消费者偏好转变时表现不佳。同样，一个基于历史数据训练的贷款违约预测模型，在遇到全球疫情、经济政策变化或贷款活动（如新贷款、再融资和条款重新谈判）意外变化时也可能表现不佳。这两个例子都说明了模型在面对环境突变时的脆弱性，强调了监控和更新模型以确保其有效性的重要性。 2025云安全联盟大中华区版权所有11 MRM框架是一种结构化的方法，用于识别、评估、缓解和监控与ML模型相关的风险，尤其是在决策过程中的应用。建立这一框架是一种积极的实践，它在确保ML模型带来效益的同时最大限度地减少潜在的负面影响。该框架为组织提供了一条路线图，以确保这些模型在开发、部署和使用中负责任和值得信赖。需要注意的是，具体的风险及其严重程度（风险级别）将因组织性质、行业、业务部门和模型的预期用途而有所不同。 一个精心设计的MRM框架通过建立结构化流程来识别和评估特定模型的风险，从而实现定制化。这个持续的过程基于以下几个关键组成部分： 1治理 在组织内对AI和ML模型进行有效治理至关重要，以确保这些模型得到妥善管理，并与战略目标和监管要求保持一致。这包括设定明确的目标、维护详细的模型清单、定义职责角色并建立审批流程。治理的关键组成部分包括 企业管理手段定义组织的整体AI战略和业务目标，以识别AI在提高生产力、效率、决策能力或提供新用户体验方面可以发挥作用的领域。 模型清单建立组织中所有使用模型的全面清单，并按目的、复杂性、风险等级及与既定企业管理手段的对齐程度进行分类。一个结构良好的模型清单通过基于风险等级和潜在影响的分类，能够实现有针对性的风险评估和高风险或关键模型的监控。 模型生命周期管理明确定义各模型在生命周期中的角色和职责，从设计和测试，到开发和部署，再到持续监控和维护，直至最终退役。清晰的职责分配有助于高效的知识传递和文档化，减少因知识空白或信息孤岛对模型长期维护和演进带来的风险。 模型审批建立一个正式的流程和标准，用于在模型部署前进行审批，确保模型符合业务需求、与业务架构一致并遵守监管要求。审批流程还会评估模型的潜在偏见、伦理问题以及对负责任AI原则的遵循，促进公平性、透明性和可信赖性。 2025云安全联盟大中华区版权所有12 2模型开发标准 建立健全的模型开发