可信人工智能治理白皮书

版权声明 COPYRIGHT STATEMENT 本报告版权属于出品方所有，并受法律保护。转载、摘编或利用其他方式使用报告文字或者观点的，应注明来源。违反上述声明者，本单位将追究其相关法律责任。 出品方 安永（中国）企业咨询有限公司上海市人工智能与社会发展研究会 前 言FOREWORD 21 世纪人类社会迎来了前所未有的技术革命——人工智能（AI）的兴起。它以迅雷不及掩耳之势，渗透到我们生活的方方面面，重塑着我们的认知和社会格局。它不仅极大地提高了生产效率，还为解决复杂的社会问题提供了新的视角和工具。然而，随着 AI 技术的迅猛发展，其所带来的伦理、法律和社会问题也日益凸显，如何确保 AI 技术的“可信”属性，成为全球关注的焦点。 在此背景下，《可信人工智能治理白皮书》应运而生。本白皮书由安永（中国）企业咨询有限公司和上海市人工智能社会发展研究会联合撰写，旨在深入探讨人工智能的全球发展态势、监管体系、可信原则、关键问题、企业合规要求、风险治理理论、进阶工具以及行业洞察等多个方面。我们希望通过这份白皮书，为政策制定者、企业管理者、技术开发者以及所有关心 AI 发展的读者，提供一份全面、深入、客观的参考和指导。 在这份白皮书中，我们将重点探讨“可信人工智能”的内涵，分析其在算法透明度、数据安全、伦理道德等方面所面临的挑战。同时，我们也将关注企业在 AI 应用中的合规要求以及风险治理这一 AI 发展中的重要议题。本白皮书将详细阐述风险治理架构的构建，以及如何在 AI 的生命周期中实施有效的风险管理。此外，我们还将介绍企业 AI 治理的进阶工具——可信 AI 等级标识，为企业构建和完善自身的 AI 治理体系提供实用的指导。 在提供有效的 AI 治理工具的同时，我们也将聚焦具有启发性的行业实践。我们将深入分析汽车、医药、零售、服务等行业在 AI 应用上的现状和挑战，以及这些行业如何构建和运营自己的 AI 管理体系。通过这些行业案例，我们希望能够为读者提供具体的行业应用视角，以及在实际操作中可能遇到的问题和解决方案。 在这份白皮书的撰写过程中，我们深刻感受到 AI 技术的发展不仅仅是技术层面的突破，更是对人类社会价值观、伦理道德和法律体系的一次全面考验。我们相信，只有通过不断提高对风险的把控能力，预判、分析和应对潜在的治理问题，建立起一套公正、透明、高效的 AI 治理体系，才能确保 AI 技术的健康发展，让它成为推动人类社会进步的正能量。 在此，我们诚挚地邀请您一同走进 AI 的世界，探索其无限可能，同时也思考和面对它所带来的挑战。让我们携手前行，在 AI 的时代中，共同寻找可信 AI 实现的最佳路径。 目录Comtents 第一章 全球人工智能发展与监管体系1 1.1 全球人工智能发展概述1 1.1.1 欧盟人工智能发展1.1.2 美国人工智能发展1.1.3 中国人工智能发展112 1.2 “可信人工智能”概念提出3 第二章 人工智能的可信原则5 5662.1 G20 人工智能可信原则2.2 欧盟可信人工智能原则2.3 安永观点：可信人工智能原则 第三章 可信人工智能的关键问题8 893.1 算法黑箱与信息茧房问题3.2 算法偏见问题 1010103.3.1 底层数据源3.3.2 数据泄露3.3.3 出海涉及相关数据出境规制 3.4 内生安全问题 10 101011113.4.1 人工智能基础设施安全风险3.4.2 数据安全风险3.4.3 模型安全风险3.4.4 应用服务安全风险 113.5 科技伦理问题 第四章 企业级 AI 的合规要求 12 12124.1.1 互联网信息服务提供者的基础资质4.1.2 提供具体服务的特殊资质 134.2 算法合规要求 1313144.2.1 算法备案要求4.2.2 算法评估要求4.2.3 算法透明性要求 154.3 内容合规要求 1516164.3.1 生成内容审核义务4.3.2 生成内容标识义务4.3.3 建立投诉举报机制 目录Comtents 第五章 人工智能风险治理17 5.1 风险治理架构17 5.1.1 风险治理架构对企业的指导5.1.2 风险治理架构对创新的推动5.1.3 风险治理架构对市场的维护181819 5.2 生命周期风险治理19 5.2.1 风险管理左移5.2.2 敏捷管理模式5.2.3 审慎评估及监控202021 5.3 人员风险治理22 第六章 企业 AI 治理进阶工具 23 6.1 AI 治理国际标准23 6.1.1 ISO 42001 的意义与价值6.1.2 ISO 42001 内容简介2324 6.2 AI 治理可信等级管理 24 6.2.1 可信 AI 治理等级标识6.2.2 可信 AI 治理等级标识服务6.2.3 可信 AI 治理重点领域解析242525 第七章 行业洞察与 AI 治理情况调研 28 7.1 汽车行业调研 7.1.1 汽车行业人工智能技术的应用7.1.2 汽车行业对人工智能技术应用的普遍认知7.1.3 汽车行业人工智能技术应用的挑战7.1.4 汽车行业人工智能管理体系的搭建与运营28282929 7.2 医药行业调研 7.2.1 医药行业人工智能技术的应用7.2.2 医药行业对人工智能技术应用的普遍认知7.2.3 医药行业人工智能技术应用的挑战7.2.4 医药行业人工智能管理体系的搭建与运营30303031 7.3 零售行业调研 7.3.1 零售行业人工智能技术的应用7.3.2 零售行业对人工智能技术应用的普遍认知7.3.3 零售行业人工智能技术应用的挑战7.3.4 零售行业人工智能管理体系的搭建和运营31323232 目录Comtents 第七章 行业洞察与 AI 治理情况调研28 7.4 服务行业调研33 7.4.1 服务行业人工智能的应用7.4.2 服务行业对人工智能技术应用的普遍认知7.4.3 服务行业人工智能技术应用的挑战7.4.4 服务行业人工智能管理体系的搭建与运营33343435 第八章 AI 应用的典型案例 36 8.1 典型案例一：某互联网平台公司内部人工智能技术应用36 8.1.1 人工智能技术使用现状8.1.2 人工智能模型使用与评估8.1.3 人工智能技术投入分析363637 8.2 典型案例二：典型案例二：某汽车公司内部人工智能技术应用37 8.2.1 人工智能模型使用现状8.2.2 人工智能模型使用与评估8.2.3 人工智能技术投入分析373838 结语 39 参考文献 39 第一章 全球人工智能发展与监管体系 当前，全球人工智能正处于技术创新、重塑行业、重新定义我们与技术互动方式的快速更迭阶段。AI 技术已经走出实验室，逐渐嵌入医疗、金融、零售、制造、交通、娱乐等行业领域的各项应用之中，社会也随之展开深刻变革。据 Fortune Business Insights 预测，人工智能市场预计将在未来十年内出现强劲增长，预计将从 2024 年的 6211.9 亿美元增长到 2032 年 27404.6 亿美元1。面对这一潜力巨大的颠覆性技术，全球各国竞相发力，正在共同将人工智能发展推向时代浪潮顶峰。 1.1 全球人工智能发展概述 截至 2024 年，全球共有 69 个国家和地区制定了人工智能相关政策和立法，涵盖了从 AI 治理、隐私保护、数据监管到伦理规范等广泛的主题，反映了各国对 AI 技术发展的重视及其潜在风险的管理需求。 以下国家或地区明确针对人工智能出台了立法或监管要求： 制，以促进自愿适用高风险人工智能系统的部分或全部强制性要求。 1.1.1 欧盟人工智能发展 欧盟《人工智能法案》是全球首部全面且具影响力的人工智能法规，于 2024 年 5 月 21 日获批通过，并于 2024 年 8 月 1 日正式生效。该法案将“人工智能系统”定义为一种基于机器的系统，被设计为以不同程度的自主性运行，并且在部署后可能表现出适应性。该系统基于明确或隐含的目标，从接收到的输入中推断如何生成可影响物理或虚拟环境的输出，例如预测、内容、推荐或决策。《人工智能法案》采取了基于风险的方法，将人工智能系统分为最低风险、低风险、高风险和不可接受风险这四级。其中，认知行为操纵和社会评分等具有不被接受风险的人工智能系统被禁止进入欧盟市场；高风险人工智能系统需要获得批准，同时需要遵守技术要求、风险管理、数据治理、透明度等一系列要求和义务才被允许进入欧盟市场；其他非高风险人工智能系统的提供者则被鼓励制定行为守则，包括相关的治理机 此外，欧盟委员会正在制定《人工智能责任指令》（Artificial Intelligence Liability Directive），该指令草案提出于 2022 年 9 月 28 日，旨在为人工智能系统造成的、非合同类责任的特定类型损害提供统一规则，解决举证责任难的问题，确保受到人工智能技术伤害的人能够获得经济补偿。该提案共九条，主要规定了高风险人工智能提供者的证据披露义务、过错与 AI 输出之间因果关系的推定两方面核心内容。 1.1.2 美国人工智能发展 美 国 正 在 选 择 一 种 针 对 特 定 行 业 的 方 法（sector-specific approach）。2023 年 9 月，美国参议员和众议员提出的《2023 年算法问责法案》草案（Algorithmic Accountability Act of 2023）为受人工智能系统影响的人们提供了新的保护措施。该法案适用于用于关键决策的新型生成式人工智能系统， intelligence systems）的法案。该法案将高风险人工智能系统定义为任何在投入使用时能够做出重大决策或在做出重大决策中起到关键作用的人工智能系统，要求高风险人工智能系统的开发者（developer）向部署者（deployer）披露有关高风险系统的特定信息、提供完成影响评估所需的信息和文件，并要求部署者实施风险管理政策和程序，定期进行影响评估，并向消费者披露其交互对象的人工智能系统的某些通知，以避免高风险人工智能系统内的算法歧视。再如，2022 年伊利诺伊州颁布了《人工智能视频面试法案》（Artificial Intelligence Video InterviewAct in 2022），对使用人工智能分析视频面试的雇主提出要求。加利福尼亚州、新泽西州、纽约州、佛蒙特州和华盛顿特区也提出了相关立法，规范人工智能在招聘和晋升中的使用。 以及其他人工智能和自动化系统，要求公司评估其使用和销售的人工智能系统的影响，为何时以及如何使用此类系统创造新的透明度，使消费者能够在与人工智能系统交互时做出明智的选择。 同年 10 月，拜登总统签署了一项人工智能行政命令《关于安全、可靠和可信赖地开发和使用人工智能的行政命令》（Executive Order on the Safe,Secure, and Trustworthy Development and Use ofArtificial Intelligence），为人工智能安全、安保、隐私保护、促进公平和公民权利、促进竞争和创新建立了新的基准。该行政命令要求制定一份国家安全备忘录，以指导人工智能在军事和情报行动中的安全和合乎道德的应用，确保保护美国人的隐私，并培育一个开放、竞争激烈的人工智能市场，强调美国的创新。 为应对人工智能生成内容的知识产权挑战，美国专利商标局（USPTO）和版权局（USCO）已经发布了相关执法行动和指南。2024 年 2 月，美国专利商标局发布的关于人工智能辅助发明的详细指南（AI and inventorship guidance: Incentivizinghuman ingenuity and investment in AI-assistedinventions）明确规定了 AI 辅助创新中的发明权确定问题，即人类贡献必须足够显著才能获