人工智能治理蓝皮书（2024年）

人工智能治理蓝皮书(2024 年)人工智能治理蓝皮书(2024 年) 中国信息通信研究院2024年12月中国信息通信研究院2024年12月 版权声明 本蓝皮书版权属于中国信息通信研究院，并受法律保护。转载、摘编或利用其它方式使用本蓝皮书文字或者观点的，应注明“来源：中国信息通信研究院”。违反上述声明者，本院将追究其相关法律责任。 更名声明 原“集智”白皮书更名为“集智”蓝皮书。“集智”蓝皮书将继续秉承原有的编撰理念和高质量标准，致力于提供有价值的信息和洞见。 前言 人工智能治理是各方为解决人工智能领域风险分担和利益分配问题，通过政策制定、法律监管、伦理指导等手段，对人工智能的研发、应用等行为进行全面管理和调控的过程。人工智能治理应为人工智能领域发展和安全问题建立有效的风险矫正机制、利益分配机制及机构协调机制，积极应对发展不平衡、规则不健全、秩序不合理问题并促进全球协商合作。 近一年来，全球人工智能治理面临复杂多变新形势。全球人工智能行业实现高速增长，在产业规模、投融资、企业数量等方面表现明显，具身智能、数字人等人工智能应用将驱动下一轮产业洗牌。通用人工智能技术飞速跃迁敲响安全警钟，幻觉难消除、场景难限定、责任难追溯等特性放大了虚假信息、隐私侵犯、网络犯罪等现实风险。同时，全新的人机交互模式开启了“人类外脑”时代，在未来发展中可能引发情感依赖、劳动替代、生存性风险等方面的人机伦理风险，不断挑战政府传统监管模式、加剧国际合作协调难度、考验供应链主体自治能力。 本报告从新技术革命引发的经济社会发展变革和历史经验出发，在“以人为本、智能向善”理念指引下，基于供应链条、价值链条、全生命周期链条等底层逻辑，从What、Why、Who、How四个维度搭建了人工智能治理体系框架。在梳理人工智能概念分歧、人工智能风险谱系基础上，框架从安全和发展两个维度提出四组议题。安全侧来看，安全可控是人工智能治理的底线基础，强调基于风险的全生命 周期治理思路，亟需对透明度、红队测试、评估评测等工具细化落地；伦理先行是人工智能治理的价值导向，需提前研判人工智能对人类生活、生产乃至生存问题带来的冲击，强调敏捷治理、动态监测。发展侧来看，负责任创新是人工智能治理的源头根本，存在算力供给不平衡、高质量数据集建设、开源模型生态治理等问题，提出基于产业链的“要素+场景”治理；可持续发展是人工智能治理的终极要求，提出公平普惠的包容性治理，围绕经济、社会和环境三个维度，协力应对数字鸿沟、能源短缺等问题，推动联合国2030年可持续发展目标实现。 从落地实践来看，主要经济体人工智能治理模式初具雏形，在监管模式、治理重点、实践策略等方面日益成熟完善。企业主体、专业机构、产业联盟等主体积极实践，在安全技术研发、资源共享等方面发挥关键作用。大国间围绕人工智能安全合作共识初建，各方在议程设置、规则塑造等多方面进程提速，联合国系统积极酝酿新的人工智能治理协调机制，各双多边机制推动高层次承诺向可执行政策落地。 展望未来，人类社会将迈向更深层次的智能化发展阶段，需要系统谋划、综合施策，在伦理监测、制度设计、监管模式、国际合作等方面持续改革创新。中国信息通信研究院持续跟踪评估人工智能治理焦点议题和趋势进展，尝试提出人工智能治理的体系框架，期待为推进各方交流讨论、促进合作共赢贡献绵薄之力。 目录 一、 人工智能治理面临复杂多变新形势.................................................................. 1 （一）人工智能行业高速增长，商业生态分化形态初现...............................1（二）人工智能技术深刻变革，挑战政府传统监管能力...............................3（三）国际合作取得关键成果，各国治理共识差异并存...............................4（四）人工智能技术风险加剧，亟需搭建完善治理框架...............................6 （一）基于产业链的治理：全要素推进负责任创新.....................................12（二）确保技术普惠共享：多维度促进可持续发展.....................................16（三）制度技术治理并进：全生命周期确保安全可控.................................19（四）人机关系如何重塑：新型风险中推动伦理先行.................................27 三、多元主体协同推进人工智能治理进程.............................................................. 33 （一）主要经济体政府监管模式各异，规则落地取得实质进展.................33（二）企业和专业机构等主体创新探索，形成协同共治生态圈.................39（三）国际人工智能治理日益深化，三大维度热点持续深化.....................43四、人工智能治理对策建议...................................................................................... 48（一）深化落地人工智能协同敏捷治理模式.................................................48（二）系统监测预警人工智能伦理社会影响.................................................49（三）围绕要素和场景细化负责任创新方案.................................................49（四）立足于全生命周期优化安全技术工具.................................................50（五）加速落地全球人工智能能力建设方案.................................................51 图 目 录 图1全球人工智能产业规模......................................................................................1图2 2019-2024 Q3 AI领域融资占全行业比例..........................................................2图3新晋AI独角兽数量及占比................................................................................3图4 2019-2024年中区域间和区域性人工智能治理举措及关键成果.....................5图5人工智能风险视图..............................................................................................8图6人工智能治理框架图........................................................................................ 11图7 AI Safety Benchmark Q2.................................................................................... 24图8不同岗位、受教育程度受AI影响大小...........................................................30图9中国人工智能行业自治图谱............................................................................43 表 目 录 表1本报告所参考的人工智能治理框架素材...........................................................8表2我国人工智能相关的主要制度文件.................................................................36 一、人工智能治理面临复杂多变新形势 人工智能技术颠覆性、跨越式突破引发通用人工智能新一轮发展热潮，推动全球人工智能治理进入规则构建的关键阶段。人工智能领域发展不平衡、规则不健全、秩序不合理等问题日益显现，全球人工智能治理面临前所未有的挑战。 （一）人工智能行业高速增长，商业生态分化形态初现 大模型等新技术带动全球人工智能行业实现高速增长。从产业规模来看，受人工智能存储、服务器等基础设施市场拉动，2024年全球人工智能产业收入高速增长。据IDC预测，2024年全球人工智能产业收入规模达6421.8亿美元，同比增长22.2%。1从企业财务表现看，人工智能技术研发和应用落地有效推动了巨头企业营收增加，微软、谷歌、亚马逊营收增速均超10%，AI云服务、AI助手及AI广告投放在其中发挥关键作用。 来源：根据IDC数据整理 从投融资来看，2022-2024年前三季度，全球投资持续低迷，融资金额持续下降，相比较而言，人工智能领域融资复苏，全球AI融资占全行业融资比例持续上升，从2022年的6.1%上升至2024年前三季度的12.0%。人工智能领域巨额融资金额大幅上升。2024年前三季度，全球巨额融资金额为265.6亿美元，同比上升148%，融资笔数为73笔，同比上升40%。大模型领域融资金额大幅上升。2024年前三季度全球大模型企业风险融资额为162亿美元，已约为2023年的两倍，投资笔数达165笔。 从企业数量来看，截至2024年第三季度，全球人工智能企业数量为31206家，其中美国企业10840家，占全球总数的35%，中国企业4676家，占全球总数的15%。AI独角兽数量大幅增加，截至2024年第三季度，全球AI独角兽共255家。其中，2024年AI独角兽新增数量达30家，占所有新增独角兽企业数量的47.6%。AI独角兽的 主要赋能领域为商业智能、AIGC及大模型、医疗等板块。2 人工智能技术创新需求持续加大，产业链条拉长、商业生态分化等特征显现。自2022年11月ChatGPT发布以来，人工智能已被应用于金融、法律、设计等多个行业。人工智能产业链条从大多数情况下由单一企业完成，发展为在开发、调优、应用等不同环节，由不同企业合作完成。围绕生态主企业构建的商业生态开始出现分化，开源与闭源、通用与专用等不同路线均呈现竞争与融合并存态势。 （二）人工智能技术深刻变革，挑战政府传统监管能力 以大模型为代表的新一轮人工智能具有强生成、强推理、强交互等能力特征，技术深度变革为人工智能政府监管带来新挑战。一是体现为新内容生产方式，从“人和信息”的链接转向“人和答案”的链接，规模化提升生成效率，内容生成机制成为人类难以破解的黑箱。二是变革人机交互模式，从传统的复杂繁琐、多样化的交互接口转变 为统一便捷的自然语言接口。人工智能脱离工具角色，成为能自主完成工作流程的“人类外脑”。三是通用泛化水平急剧攀升，未来可能在产业发展中发挥基础设施和数字技术市场“看门人”作用，基础性、公共性、外溢性将显著增强。在此背景下，传统政府监管模式和工具面临重大挑战。一是事前风险审查缺乏统一标准，政府亟待优化评估审查工具。斯坦福大学《2024年人工智能指数报告》3指出，人工智能严重缺乏标准化