理解欧盟人工智能法案：要求和下一步行动

目录 4引言 4欧盟人工智能法案的关键义务 5 / 定义和范围6 / 《人工智能法案》的例外情况 6 / 禁止系统 7 / 高风险人工智能系统7 / 风险管理 8 / 质量管理体系 9 / 数据与数据治理 9 / 精确性、鲁棒性与网络安全 10 / 技术文档、档案保存与透明度 10 /市场后监督 11 / 合规性评估 11 / 人工监督 11 / 人工智能素养12 / 注册 12 / 报告严重事件 12 / 高风险系统部署者的要求14 / 透明度要求 14 / 通用人工智能模型 15 / 创新考虑 15 / 惩罚15从业者下一步 15 / 时间表 16 / 隐私输入 17 / AI清单和第三方管理 17 / 文档AI系统获取和使用流程18结论19致谢 摘要 人工智能（AI）技术的快速应用增长，尤其是生成式人工智能（genAI），是由这些技术据称能够提供的众多益处所驱动的。但在追求最大效率的利益下，一些企业未经考虑其风险及其可能造成的危害便匆忙采用AI。欧盟AI法案为欧盟使用的某些AI系统设定了要求，并禁止某些AI应用。本白皮书探讨了AI法案的范围和风险分类方法，除此之外还提供了该法规规定要求的概述。它还包含了寻求符合该法案要求的从业者的下一步行动指南。 引言 近几年来，人工智能技术的采用呈爆发式增长。2019年，58%的组织将人工智能用于至少一个业务功能；到2024年，这一数字跃升至72%。1 从2023年到2024年，genAI的使用率几乎翻了一番，从仅仅33%上升到65%。2 虽然采用人工智能可以帮助企业更高效地运营，但它存在重大的风险。由于涉嫌侵犯版权，许多针对生成式人工智能公司的诉讼已经被提起。3 有缺陷的人工智能或人工智能的滥用可能导致安全问题，例如被篡改的自动驾驶汽车，造成人身伤害或死亡。在存在偏见的数据上训练的人工智能系统可能会产生有偏见的结果。人工智能的问责制仍然模糊不清，而且通常不明确由谁来为人工智能输出造成伤害承担最终责任。 2024年3月13日由欧洲议会通过、2024年5月21日由欧盟理事会通过的欧盟人工智能法案，或有助于减轻与人工智能相关的一些风险，允许企业在安全、合乎道德和负责任的方式下使用人工智能技术，并增强对人工智能系统的信心。该法案被誉为世界上第一部全面的人工智能法律。4 鉴于该法案的广泛性和全面性，未来的人工智能法律和法规有可能以欧盟人工智能法案为模式制定，类似于欧盟一般数据保护条例（GDPR）的情况。 欧盟人工智能法案，该法案于2024年3月13日获得欧洲议会批准，并于2024年5月21日获得欧盟理事会批准，有助于减轻与人工智能相关的部分风险，允许企业在安全、道德和负责任的方式下使用人工智能技术，并增强对人工智能系统的信心。 虽然并非全球每个企业都需要遵守欧盟人工智能法案，但了解该法案的关键要求是值得的。法案中概述的风险分类可以帮助企业思考他们所使用的AI产品，并理解与之相关的风险。 欧盟人工智能法案的主要义务 欧盟人工智能法案有多层合规要求，包括在人工智能应用场景、模型、系统、项目和企业层面。这些要求可能会根据企业是提供者、部署者、进口商还是分销商，以及人工智能是高风险、有限风险、通用人工智能模型或某种组合而有所不同。以下是欧盟人工智能法案中一些关键要求的概述。 定义和范围 该法案全面涵盖了被认为是一种人工智能系统的内容。图1展示了欧盟人工智能法案下人工智能系统的一些关键特征。5 《人工智能法案》将风险定义为发生损害的可能性与损害严重程度的组合。理解法案中定义的各种角色至关重要（图2）。 请注意，企业根据具体用例可能扮演多种角色，例如，如果使用第三方客服聊天机器人，企业可能是一个部署者，但如果是一个人工智能图像编辑器的提供者。根据用例确定适用角色非常重要，因为提供商、部署者和分销商的要求可能不同。 5 欧洲联盟官方公报，“欧洲议会和理事会2024年6月13日通过的关于人工智能的统一规则的法规（EU）2024/1689，以及修订法规（EC）第300/2008号、（EU）第167/2013号、（EU）第168/2013号、（EU）2018/858号、（EU）2018/1139号和（EU）2019/2144号以及指令2014/90/EU、（EU）2016/797号和（EU）2020/1828号（人工智能法案）”，第2条和第3条，2024年7月12日，https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=OJ%3AL_202401689 理解欧盟人工智能法案：要求与下一步行动 《人工智能法案》规定了在欧洲联盟市场上投放的AI系统的要求。《法案》将AI投放市场定义为一个AI系统或通用AI模型在欧盟市场上的首次可用性。将AI投放市场是指通过商业活动，在欧盟范围内对AI系统或通用AI模型进行分销或使用的动作，这可能是有偿的或免费的。将AI投入使用是指直接向部署方提供，供其在欧盟范围内为实现预期目的而首次使用的AI系统。6 在市场上提供人工智能是指通过商业活动在欧盟进行人工智能系统或通用人工智能模型的分发或使用，该活动可以是付费的或免费的。投入使用人工智能是指向欧盟的部署者直接提供旨在用于特定目的的人工智能系统，并首次使用该系统。 在欧盟范围内，人工智能法案适用于：7 •在欧盟市场上提供人工智能系统的供应商 • 在欧盟成立或位于欧盟的人工智能系统部署者 ••••人工智能系统进口商和经销商在欧盟将产品与人工智能系统一起投放市场或投入使用的制造商欧盟未设立供应商的授权代表欧盟内受影响人员 在欧盟之外，该法案适用于： •欧盟市场上投放人工智能系统的供应商，无论供应商位于何处•欧盟以外的AI系统提供者和部署者，其AI输出在欧盟使用 由于范围广泛，即使提供者和部署者不在欧盟，也可能受到《人工智能法案》的约束。鉴于该法规的域外效力，所有企业都必须确定《法案》的要求是否适用于它们。 人工智能法案的例外情况 欧盟人工智能法案不适用于欧洲联盟市场上的所有人工智能系统。用于军事、国防或国家安全活动的系统被排除在外，即使由私人实体使用也是如此。但如果这些系统，即使是暂时地，被用于其他目的，它们也将受到监管。 人工智能法案也不适用于仅用于科学研究和发展的人工智能系统，但对于需要在现实世界条件下进行测试的人工智能系统或模型则有要求。8 禁止系统 某些被认为风险过高的AI实践被《人工智能法案》禁止。图3表明了这些实践。被禁止的系统是那些可能对个人造成重大伤害的系统；这些实践可能导致隐私侵犯、歧视和个人自由受限。用于图3中所述目的的AI系统，除某些有限例外外，不得在欧洲联盟市场上销售或在欧洲联盟中使用。9 6 欧盟，“人工智能法案，” 第 3 7 条 欧盟，“人工智能法案,”第二十八条 欧盟，“人工智能法案，“第二十九条 欧洲联盟，“人工智能法案,”第5条 高风险人工智能系统 欧盟人工智能法案的很大一部分重点是高风险人工智能系统的义务。与被禁止的人工智能系统不同，只要满足若干要求，高风险人工智能系统就可以在欧盟市场上销售。高风险系统的义务适用于：10 •作为产品安全组件的AI系统•生物识别•关键基础设施，例如供水•教育和职业培训，例如，入学，作弊检测器•就业与员工管理•基本公共服务和福利，例如紧急服务•执法•移民与边境管理•司法和民主程序 在系统不会对个人的健康、安全或基本权利构成重大风险，或影响个人决策的情况下，这些系统不被视为高风险。 以下是高风险人工智能系统提供者的主要义务。 风险管理体系 需要对高风险人工智能系统建立风险管理系统。风险管理流程应贯穿人工智能系统的整个生命周期，必须迭代并进行必要更新。图4展示了欧盟人工智能法案要求的风险管理步骤。风险管理系统还必须考虑任何风险是否会影响到18岁以下的人或其他弱势群体。11 高风险人工智能系统应当被设计和测试，以验证其合规性，并帮助确定最佳风险管理措施。这应当是一个迭代的过程；因为人工智能系统可以演进，其使用方式也可能发生变化，验证合规性和重新评估风险管理措施不能是一次性活动。 质量管理体系 根据《人工智能法案》，高风险人工智能系统的提供者必须建立质量管理体系，以帮助确保合规性。该体系应包括书面政策、程序和说明。质量管理体系应考虑以下内容：12 •一致性评估程序•高风险系统修改程序•高风险人工智能系统的设计、开发、质量控制和质量保证程序和技术•在整个高风险人工智能系统开发生命周期中的测试和验证程序•数据管理系统和流程•风险管理体系•售后市场监测系统•报告严重事件的流程•通信过程•记录系统与流程•资源管理•一个概述相关责任和相应问责制的框架 12 欧盟，“人工智能法案”，第17条 9 理解欧盟人工智能法案：要求与下一步 数据和数据治理 鉴于高质量数据是有效和符合伦理的AI模型的前提，欧盟AI法案在数据和数据治理方面对高风险AI系统提出了若干要求。数据集应包含准确信息，并且潜在的偏见必须尽可能地被识别和缓解。这些要求适用于训练数据、验证数据和测试数据。13 图5显示了应考虑的数据质量维度。 虽然维持数据质量很重要，但欧盟人工智能法案也强调了需要涵盖数据生命周期不同阶段、定义明确且记录完善的数据收集和数据处理操作（例如，标注、标记、清理、丰富和聚合）。 准确性、鲁棒性和网络安全 欧盟人工智能法案要求高风险人工智能系统必须具备准确性、鲁棒性和网络安全措施。必须建立旨在提高弹性的技术和组织措施。备份、冗余解决方案和故障安全计划可用于支持鲁棒性。 投入使用后仍会持续学习的高风险人工智能系统，应设计为降低或消除其产生有偏见输出并影响未来运行的风险。这可能包括开源的人工智能系统、利用人类反馈进行强化学习的人工智能系统，或使用检索增强生成的人工智能系统。应制定缓解措施以应对反馈循环。 投入使用后仍会持续学习的高风险人工智能系统，应设计为减少或消除其产生有偏见输出并影响未来操作的风险。 此外，该法案要求具备抵御未经授权修改系统使用、输出或性能的弹性。必须有适当的技术方案来确保高风险人工智能系统的网络安全。这应包括防止、检测、响应、解决和控制数据中毒、模型中毒、模型规避和对抗性攻击的措施。14 理解欧盟人工智能法案：要求与下一步行动 技术文档，记录保存和透明度 在欧盟人工智能法案中，证明高风险人工智能系统符合要求是强制性要求，并且它要求这些系统提供技术文档之前它们被投放市场或投入使用。15 这份技术文档可以应对某些人工智能系统的黑盒特性，并且可以帮助企业在人工智能系统未能按预期运行时做出应对。技术文档的要求包括：16 •对人工智能系统的描述，例如其预期目的，它与硬件和软件的交互方式，以及为部署者提供的使用说明 •人工智能系统元素的详细解释及其开发过程，例如系统是如何设计的测试和安全防护措施到位 •人工智能系统所用数据的详细说明，例如影响数据性质、限制或其他因素的数据要求；所用训练数据集及其来源、范围和主要特征；获取和选择数据的程序；标签（例如，用于监督学习）；以及数据清理方法，包括异常值检测 •••••••系统监控、功能及控制的说明相关性能指标风险管理体系供应商在其生命周期内对系统进行更改合格声明已应用的任何协调标准的清单后市场监测计划说明 除了技术文档之外，高风险人工智能系统在其整个生命周期内必须具备自动日志记录。这种记录保存有助于确保人工智能系统的可追溯性，并协助市场后监控活动。记录保存必须包括每次使用的开始和结束日期及时间、输入数据及其参考数据库（用于检查）、以及参与结果验证的人员的识别信息。17 技术文档和记录保存最终有助于提高高风险人工智能系统运行方式及其运行影响方面的透明度。欧盟人工智能法案中的一项透明度要求是，供应商必须在安全使用高风险人工智能系统的说明中包括这些说明。这应包括对人类监督措施、系统可能需要的任何维护以及系统预期寿命的概述。 技术文档和记录保存最终促进了关于高风险人工智能