人工智能安全治理研究报告（2025年）

——推进人工智能安全治理产业实践框架 (2025 年) 中 国 信 息 通 信 研 究 院2026年 1月 版权声明 本报告版权属于中国信息通信研究院，并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的，应注明“来源：中国信息通信研究院”。违反上述声明者，本院将追究其相关法律责任。 前言 人工智能技术以其前所未有的发展态势引领新一轮科技革命和产业变革，深度驱动经济社会发展。2025年8月，国务院发布《关于深入实施“人工智能+”行动的意见》，系统推动人工智能在全社会的普及应用与深度融合，逐步形成“以创新带应用、以应用促创新”的良性发展飞轮。技术跃迁释放价值红利的同时带来风险挑战，只有当“安全内核”嵌入“发展飞轮”，产业才能实现高质量和可持续发展。 当前，全球人工智能安全治理逐步迈向体系化、实操化阶段，各主要经济体持续推进治理框架落地，如何在产业层面构建务实有效的安全治理举措，已成为核心议题。我们深刻认识到，技术快速发展催生新风险敞口，应用场景快速延展引入复杂治理难题，应对人工智能安全治理问题需树立动态的人工智能安全观。与此同时，人工智能安全相较于传统网络安全、数据安全，风险载体愈发复杂多样、安全防御体系尚处探索阶段、安全检测评估难度加大、传统管理机制难以适配，产业界亟需一个全局性、系统化的行动框架作为指引。为此，本报告基于中国信息通信研究院前期《可信人工智能白皮书（2021年）》《人工智能治理蓝皮书（2024年）》相关研究积淀，面向产业发展凝练2025年人工智能治理宏观要求，基于《人工智能安全框架（2022年）》《人工智能风险治理报告（2024年）》相关产业积累，进一步提炼当前产业面临的人工智能安全治理挑战。报告经过深入研究与实践总结，立足本土产业实践，提出“两横三纵”的人工智能安全治理产业实践框架。该框架以“管理”与“技术”双线协同为横轴，实 现制度牵引与能力支撑的深度融合；以“开发侧”“部署侧”与“应用侧”三侧发力为纵轴，实现从模型研发、系统部署到场景应用的全链条防护，旨在为产业提供一套系统性、可落地、动态化的安全治理体系。同时，我们呼吁产业各界凝聚共识、形成合力，将分散的治理努力整合为统一的系统屏障，共同构建协同共治、安全可信的人工智能生态。鉴于人工智能技术应用日新月异，本报告对人工智能安全治理的认识仍有未尽之处，恳请大家批评指正。 谨向为本报告提供指导、支持与协助的中国政法大学、中国社会科学院法学研究所、对外经济贸易大学、同济大学、深圳市腾讯计算机系统有限公司、阿里巴巴（中国）有限公司、北京百度网讯科技有限公司、中国邮政储蓄银行、上海明品医学数据科技有限公司、煤炭科学研究总院有限公司、中国移动通信集团有限公司、中国联合网络通信集团有限公司等单位及专家，致以衷心的感谢。 目录 一、人工智能安全治理概述........................................................................................1（一）宏观规范要求迈向务实新阶段................................................................ 1（二）技术应用发展凸显风险新态势................................................................ 2（三）产业实践需要安全治理新框架................................................................ 3二、全球人工智能安全治理现状................................................................................4（一）国际合作层面，全球加强安全治理深化交流........................................ 4（二）监管政策层面，各国推动安全治理体系化落地.................................... 5（三）产业实践层面，构建安全治理务实举措成为核心议题........................ 8三、人工智能产业安全治理核心挑战......................................................................10（一）技术发展扩大内生安全新敞口.............................................................. 10（二）应用延展引发衍生安全新难题.............................................................. 13（三）组织管理体系构建面临新卡点.............................................................. 15（四）多元共治协同机制尚待健全完善.......................................................... 17四、人工智能安全治理通用实践框架......................................................................19（一）风险管理：构建闭环的人工智能风险管理体系.................................. 20（二）模型研发：筑牢人工智能开发安全源头根基...................................... 23（三）系统部署：构建人工智能部署安全防护屏障...................................... 26（四）应用运行：强化人工智能应用安全动态评估...................................... 28（五）产业生态：共建基准测试体系与协同治理机制.................................. 31五、典型领域探索安全治理实践方案......................................................................34（一）金融行业打造人工智能风险管控方案.................................................. 34（二）医疗行业多维度提升模型输出准确性.................................................. 36（三）交通行业结合应用场景探索安全方案.................................................. 37（四）能源行业加强基础设施的安全防护...................................................... 38（五）通信行业加强“以技治技”的安全治理体系...................................... 39六、展望......................................................................................................................41 图目录 图1人工智能安全治理产业实践框架.......................................................................4图2人工智能安全治理“两横三纵”实践框架.....................................................20图3大模型安全基准测试框架（2.0）....................................................................32图4《人工智能安全承诺》披露网站.....................................................................33 一、人工智能安全治理概述 （一）宏观规范要求迈向务实新阶段 2025年，人工智能技术持续快速迭代创新，多项突破性进展正推动其能力边界不断扩展。基础模型推理能力显著增强，通过构建统一的跨模态表征空间，实现图像、语音和文本等多模态应用。智能体打通“感知、决策、行动”闭环，使模型从“语言生成器”向“任务执行者”转变。具身智能驱动机器人实现高阶认知与自主学习。人工智能与基础科学深度融合，在生物化学、医药研发等科研领域取得突破性进展，驱动科研范式发生深刻变革。然而，人工智能数据安全、算法偏见、模型幻觉、情感依赖、数据污染等问题不但未被妥善解决，反而在技术深入赋能过程中被不断放大。人工智能安全治理相关问题已经成为严重阻碍技术红利释放的掣肘。 在此背景下，全球人工智能安全治理已经发生深刻转变。一是从对于宏观风险的关注具象化至产业发展中的安全风险，更加强调释放技术价值红利，有效防范化解制约产业落地的风险挑战。二是从原则性探讨转向监管落地方法与评估框架构建。国际层面，联合国设立人工智能常设机制，标志着全球协同治理进入机制化运作的新时期。监管层面，法律规范从框架原则走向实施细则。欧盟人工智能统一立法持续推进，配套标准加速制定。美国在联邦层面维持审慎立法的同时通过州层面立法，探索灵活监管路径。我国形成了以算法备案、安全评估和专项行动为核心的链条化管理方案，监管深入技术开发与产品部署的具体环节。产业实践层面，透明自律及评估量化成为重点举措。 国际社会日益认识到，有效的安全治理不是技术发展的阻碍，而是释放创新红利、防范系统性风险的必要保障。 （二）技术应用发展凸显风险新态势 2人工智能技术应用的安全风险突破了传统安全边界，呈现三个特点：一是风险形态层出不穷，补丁式防护思路亟需改变。基于自然语言的交互方式大幅拓宽模型攻击面，基于海量数据的“黑盒”训练方式使得模型安全威胁更具隐蔽性，新风险形态与新风险载体形成乘数效应，必须跳出传统补丁式安全防护方式的依赖，统筹技术手段与制度安排，构建覆盖全生命周期的综合安全治理框架。二是风险识别难度高，评估评测依赖安全技术与治理共识共同支撑。对于人工智能的风险识别及测试手段严重不足，难以标准化、量化如幻觉、偏差等风险指标。人工智能应用场景依赖性强、可再现度差，难以形成统一、可复用的技术检测方案。人工智能安全治理不仅依赖安全技术手段，还需要凝聚多领域多场景价值共识，对风险开展持续研判和动态评估。三是模型能力边界不明，需从对抗“已知漏洞”迈向应对“未知风险”。大模型能力边界不明且快速迭代，所带来的已不仅是传统安全漏洞，更包括模型自主判断失准、价值对齐失效甚至是技术失控等系统性问题。这些问题直接导致传统安全的静态防御逻辑已经失效，难以依赖事后修补或固定标准进行约束，需要构建技术、制度、生态协同的安全治理体系，在能力演进中管控系统性风险。基于此，我们要承认，我们对人工智能安全认识的局限性。当前人工智能风险的分析均基于现有技术路线、应用场景以及现阶段已暴露的风险。由于未来人工智 能技术和应用的不可预见性，具有动态演化的特点，我们也需建立动态演化的人工智能安全观。 （三）产业实践需要安全治理新框架 当前，全球范围内对人工智能安全治理框架的落地需求日益迫切。产业实践表明，宏观要求转化为可实操举措、体系化完善安全治理技管能力、产业协同构建安全评估基准等问题，已成为提升安全治理效能、回应风险挑战的关键所在。基于此，本报告从宏观目标层面，将宏观要求聚焦释放技术价值、精准防范风险的产业视角和客观表述；治理要求层面，