欧盟 AI 法案 ： 是时候开始准备了

麦肯锡直接欧盟 AI 法案 ： 是时候开始准 备了 成功的数字化未来取决于负责任地使用人工智能。欧盟人工智能法案标志着在监管人工智能系统方面取得了重要进展，可能为其他司法管辖区提供范例。 这篇文章由Henning Soller、Anselm Ohme、Chris Schmitz、Malin Strandell-Jansson、Timothy Chapman和Zoe Zwiebelmann共同完成，代表了麦肯锡风险与韧性实践以及数字实践的观点。 人工智能和生成型AI（gen AI）将对经济增长和生产效率产生变革性影响。麦肯锡近期的一项调查表明，这尤其适用于计划利用该技术对其运营进行变更的组织。1 具备构建数字信任优势的组织比其他组织更有可能在其收入和利润线上实现至少10%的年度增长率。 尽管许多组织已经接受了这些概念，但仍有一些组织缺乏对新技術的基本风险控制。麦肯锡于2024年初对五个行业的180家欧盟企业进行了调查，了解欧洲联盟范围内的人工智能治理状况。71%的受访者表示，他们的AI风险管理尚不成熟，尽管有65%的受访者表示他们已经在使用生成式人工智能（见图1）。 为了实现人工智能带来的好处，组织需要确保其底层模型及其应用的安全、可靠和可信赖。实施 robust 数据治理、模型风险、安全性和个人权利管理对于负责任的人工智能治理至关重要。这些支柱共同为未来的数字转型和数字信任奠定了坚实的基础。根据麦肯锡的研究，具有高度可信赖性的组织相比不那么可信赖的组织拥有更高的利润率和更好的估值。2虽然只有一小部分公司会提供这种数字信任 ， 调研参与者在五个高层类别中表达了担忧，这些类别反映了人工智能的重要考虑因素：数据、模型输出、安全、第三方和社會風險。 Web <2024> 少于30%的调查受访者认为其组织的AI风险治理具有一定的成熟度。 组织人工智能风险治理的成熟度 ，1% 的受访者 麦肯锡公司 基于应用场景，AI系统被定义为禁止、高风险或非高风险。关于“禁止”的AI系统的规则，在法律的第5条中有详细说明，包括涉及操控性或欺骗性的模型。“高风险”系统是指可能威胁健康、安全和基本权利的系统，包括关键基础设施、教育或职业培训、就业、获取重要公共或私人服务和福利（包括信贷和健康保险）、个性化处理以及执法等方面。而“非高风险”系统则包括较低或无需监管要求的系统，涵盖未被上述两类覆盖的所有内容，例如视频游戏中的AI和客户服务聊天机器人。 一些担忧归为一类，而另一些则跨越多个方面。例如，偏见涉及模型输出、数据和第三方风险。调查中还表达了其他潜在的担忧，包括歧视、不良输出、个人数据泄露、知识产权滥用、安全漏洞以及恶意使用。 鉴于人工智能可能面临的各种风险，标准和政策制定者正在加大努力控制这些风险。全球监管机构陆续推出了监管框架和指导原则，包括加拿大、中国、日本、韩国和美国等国家和地区。欧盟于2024年5月颁布的《欧盟人工智能法案》是世界上首部生效的一般性人工智能法规。作为先驱，该法案将成为其他指导原则的试验平台。此外，《欧盟人工智能法案》还具有域外效力，其适用范围不仅涵盖在欧盟内开发的人工智能工具，还包括在欧盟内应用的其他市场开发的人工智能工具及其输出结果。 实施工作的早期 AI治理和欧盟AI法案合规工作仍处于早期阶段，但组织机构已经产生了疑问。超过50%的调查受访者表示不清楚AI法案的要求，并对他们的AI应用场景的风险分类感到不确定（如图2所示）。 欧盟人工智能法案及其要求概述 欧盟AI法案旨在“促进以人为本和可信赖的AI技术，同时保护健康、安全和基本权利”。在未来两年内随着指导方针的逐步实施，该法案将对所有受影响的组织产生广泛的影响。 组织在数据管理方面自认为准备得最为充分，领先于治理、模型风险管理和个人权利（如图表3所示）。 即使如此，数据管理仍然是一个担忧。超过一半（57%）的受访者表示，仍有许多数据治理要求未得到解决。具体而言，一些组织指出，在通用数据保护条例（GDPR）和欧盟人工智能法案（EU AI Act）之间如何互动方面缺乏明确性。 该法规在四个领域设置了要求：治理、数据管理、模型风险管理和个人权利。这些要求包括风险管理与质量控制、人类监督、AI系统文档和透明度、数据管理，以及非歧视性和偏见的模型风险治理措施，确保准确性和稳健性以及网络安全。 当被问及是否已经满足了该法规在这四个领域的要求时，少于10%的调查受访者表示已经满足（如图4所示）。 哪些组织的需求取决于两个因素：风险分类以及该组织在人工智能价值链中的角色，其中包括供应商、进口商、分销商、人工智能系统部署者及其各种组合。 Web <2024>附件 2 麦肯锡公司 Web <2024> 欧盟人工智能法案治理成熟度、平均值和范围的自我评估 Web <2024> 麦肯锡公司 将近一半的受访者表示他们尚未为AI法案的实施分配任何预算，而已经分配预算的大多数组织也只设定了200万欧元或更少的预算（如图表5所示）。组织目前不花费资金的原因有很多。一些受访者可能尚未开始回应AI法案的要求，因为这些规定非常新。另一些人则专注于将他们的AI改进努力与现有的治理结构对齐。还有一些人对即将出台的监管要求并不了解。 已实施的法规遵从性或 AI 风险管理策略。 风险治理。约三分之一体现了成熟的AI风险治理结构，只有三分之一表示拥有专门的治理组织。此外，约40%缺乏明确的AI责任定义，约10%表示已全面解决AI原则和规范。 鼓励地指出，近一半的受访者表示他们拥有单独的使用指南，而超过三分之一的受访者已经为外部AI模型设置了输入和输出的安全限制。这很可能是因为企业在迅速部署生成式AI工具时，为了保护商业敏感信息和知识产权而采取的措施。 组织面临的主要挑战 受访者列举了他们为满足《人工智能法》要求所做的努力面临的各种挑战。 复杂性。在某些情况下，组织因寻求清晰性和准备应对复杂法规和技术所需的资源而停滞不前。只有四分之一的调查受访者已经做好了准备。 第三方风险管理也是一个关注点。不到三分之一的组织表示他们已经适当解决了与AI相关的第三方风险。 Web <2024> 近 50% 的组织尚未为欧盟人工智能法案的实施分配资源。 麦肯锡公司 一些公司已经实施了与GDPR相关的控制措施、技术边界以及对外模型的微调。但仅有16%的受访者正在进行红队演练，而有些公司表示，在通用人工智能的相关规定和义务于2025年全面适用时，他们正在回滚与供应商的关系。 定义生成AI模型输出测试的标准。对于自开发的模型，受访者表示他们通常使用持续代码集成与部署、模型版本控制以及文档记录来确保质量。 38%的受访者使用“人工在环中”流程，而30%的受访者使用技术负责的AI工具。部署后的模型性能监控、日志记录和用户反馈，以及事故检测和管理，是最常见的确保质量的措施。 数据治理。只有18%的受访者表示其组织已经建立了成熟的AI系统技术风险管理流程。此外，很少有组织拥有稳健的模型或安全与准确性技术。然而，大约75%的受访者表示其组织已实施了先进的网络安全控制和数据保护措施。 天赋。获取合适的人员来运行和管理AI也面临困难。技术人才的短缺尤为突出，但也存在于法律人员中。这不仅是对企业，也是对有关注AI法案有效监控与执行能力的监管机构的重大担忧。仅有四分之一的受访者对员工进行技能提升，这一过程需要时间和投资。 该法案引入了数据管理的要求。这些要求涵盖了系统设计选择、假设制定、数据收集与准备、偏差检查、确保数据代表性以及包括适当的统计属性等方面。超过一半的调查受访者表示尚未解决这些要求。不到20%的受访者已经解决了偏差问题。 其他。或许令人意外的是，受访者并未将成本、财务资源或伦理问题列为实施缓慢进展的主要原因（如图6所示）。 模型如何处理数据是另一个值得关注的领域。许多受访者表示在 鉴于欧盟AI法案的复杂性以及合规所需的努力，组织现在应加快规划。 Web <2024>Exhibit 6 组织在实施欧盟人工智能法案方面面临的主要挑战 ，1% 的受访者 麦肯锡公司 采取行动的时间 组织应该采纳“定义您的世界”方法，该方法优先考虑模型使用、利益相关者、风险和法规的透明度。欧盟人工智能法案主要针对高风险模型设定了要求，因此对模型景观进行风险分类将有助于今后的工作结构化，并控制所需的努力水平。 鉴于欧盟AI法案的复杂性以及合规所需的努力，组织现在应加快规划步伐。虽然该法案列出了实施阶段和逐步的合规截止日期，但有GDPR实施经验的人士深知，随着截止日期的临近，等待可能会导致混乱。 定义治理和合规目标状态可以帮助组织构建全面考虑战略、风险偏好、组织结构、技术、政策和工具的路线图。通过持续改进的过程，组织可以不断优化，并以现有最佳实践和框架为指导。确保跨功能协作和在伦理与风险考量方面的输入至关重要，以便更好地应对当前的风险。 管理组织人工智能努力的范围非常重要。通过将开发与治理实践相结合，组织能够限制使用的模型数量，通常少于20个。清晰的治理结构还可以减少团队在应对临时请求和支持方面产生的挫败感。 但在那之前，该法案的监管机构需要进一步明确他们的期望，并与行业合作，在资源有限的环境中找到实用的实施解决方案。负责任且可信赖的AI是定义新数字未来的前提条件。通过拥抱负责任的AI治理，公司可以在消费者、竞争对手、股东和社会的信任支持下推动创新。 如果没有配备功能 ， 则可能需要在现有治理之上采取单独的行动。 为了实现合规，组织需要具备必要的人才、资源以及相关的KPI来衡量进展。AI正在迅速发展，因此紧跟变化至关重要。欧盟人工智能法案代表了规范人工智能系统并向负责任的人工智能治理迈进的重要一步，也可能为全球其他地区提供范本。 这篇文章最初出现在 8 月 / 9 月版的 RMA 杂志。 Henning Soller 是麦肯锡法兰克福办公室的合伙人；Anselm Ohme 是柏林办公室的咨询顾问，而Chris Schmitz是柏林办公室的数据科学研究员；Malin Strandell-Jansson 是斯德哥尔摩办公室的校友；Timothy Chapman 是华沙办公室的分析师；Zoe Zwiebelmann 是汉堡办公室的咨询顾问。 作者感谢Andreas Kremer、Angela Luget、Angie Selzer、Artem Avdeed和Silvia Tilea对本文的贡献。