行业研究公司研究宏观策略财报招股书会议纪要 Token 低空经济十五五 AIGC 大模型

人工智能安全治理白皮书（2025）

信息技术 2025-07-28 - 中国联通张曼迪

AI 技术发展历程：AI 技术经历了符号规则、机器学习（ML）到深度学习（DL）的演进，近年来以大模型（LLM）为核心的新一代 AI 技术成为推动科技进步和产业升级的关键。
AI 技术应用发展趋势：
- AI 智能体：产业上游由算力、数据和模型开发商主导，中游聚焦集成和平台化服务，下游围绕行业垂直应用和通用智能体开发，呈现多模态交互升级、多 Agent 协同工作和垂直领域 Agent 专业化的趋势。
- 具身智能：在大模型技术推动下成为科技产业热点，关键技术包括机器人 AI 芯片、高性能仿生多指灵巧手、具身智能基座模型构建以及具身智能本体控制，未来将广泛应用于工业制造、家庭服务和商业服务等领域。
- 端侧 AI：终端设备算力提升和多模态大模型需求增长推动端侧 AI 硬件能效提升，百亿参数大模型有望端侧落地，端云协同的混合 AI 架构成为主流。
AI 安全治理体系：
- 目标：建立安全可靠、公平可信、智能向善的人工智能系统。
- 体系：包括监督与管理体系和技术体系。
  - 监督与管理体系：形成“法规政策、标准规范、管理制度、保障措施”四位一体的体系。
  - 技术体系：AI 基础设施安全、AI 模型算法安全、AI 数据安全以及 AI 应用安全是确保整个 AI 系统安全性的四个关键方面。
    - AI 基础设施安全：包括智算硬件设备、智算云、智算 MaaS 平台、智算算力网络构建防护能力。
    - AI 数据安全：包括通用数据安全风险（数据合规、数据泄露、数据篡改、数据质量）和 AI 数据生命周期风险（训练、微调、推理、知识库数据）。
    - AI 模型算法安全：包括模型训练、微调、推理、部署风险，以及通用 AI 模型安全风险（鲁棒性、泛化性、可解释性、偏见与歧视、逆向工程、对抗攻击）和生成式 AI 模型安全风险（用户不当输入、生成内容合规）。
    - AI 应用安全：包括 AI 模型算法滥用风险（虚假有害信息、多模态深度伪造、模型透明性不足）、AI 应用开发安全风险（端侧 AI、智能体、具身智能、智能物联网）和 AI 垂直行业应用风险（医疗、新闻、金融、编程）。
AI 安全治理风险分析与挑战：
- AI 基础设施安全风险：包括智算硬件设备安全风险（物理攻击、硬件接口攻击、软件攻击、侧信道攻击、故障注入攻击）、智算云安全风险（云操作系统安全、容器镜像安全）、智算 MaaS 平台安全风险（模型知识产权、拒绝服务攻击、资源滥用）、智算算力网络安全风险（算力编排管理、算力运营服务）。
- AI 数据安全风险：包括通用数据安全风险和数据合规、数据泄露、数据篡改、数据质量等风险；AI 数据生命周期风险包括训练、微调、推理、知识库数据安全风险。
- AI 模型算法安全风险：包括模型训练、微调、推理、部署风险，以及通用 AI 模型安全风险和生成式 AI 模型安全风险。
- AI 应用安全风险：包括 AI 模型算法滥用风险、AI 应用开发安全风险和 AI 垂直行业应用风险。
AI 安全治理体系现状：
- 法律法规政策现状：欧盟、美国、中国等国家和地区均制定了相关政策法规，如欧盟《人工智能法案》、美国《人工智能权利法案蓝图》、中国《生成式人工智能服务管理暂行办法》等。
- 标准规范现状：国际标准化组织（ISO/IEC）、国际电信联盟（ITU）、电气与电子工程师协会（IEEE）等制定了多项 AI 安全治理标准，中国也发布了《国家人工智能产业综合标准化体系建设指南》等。
AI 安全治理技术解决方案：
- AI 基础设施安全解决方案：包括智算硬件设备、智算云、智算 MaaS 平台、智算算力网络安全解决方案。
- AI 数据安全解决方案：包括通用 AI 数据安全解决方案、训练数据安全解决方案、微调数据安全解决方案、推理数据安全解决方案、知识库数据安全解决方案。
- AI 模型算法安全解决方案：包括通用 AI 模型算法安全解决方案和生成式 AI 模型算法安全解决方案。
- AI 应用安全解决方案：包括 AI 应用开发安全解决方案和 AI 垂直行业应用安全解决方案。
AI 安全治理行业案例：
- 中国联通人工智能安全治理一体化解决方案：包括大模型内容安全评测与增强、大模型中文幻觉评估与减轻、大模型可解释性评估与可控增强。
- 华为推理数据与知识库安全解决方案：包括基于硬件可信执行环境 TEE 的 PMCC 轻量级 AI 机密计算方案和基于鲲鹏 AI+RAG 安全方案。
- 百度大模型安全解决方案：包括百度智能云千帆大模型数据安全解决方案和多模态审核大模型安全建设方案。
- 360 大模型安全解决方案：包括 360 智盾大模型内容安全护栏系统和 360 智鉴-大模型系统安全检测平台。
- 奇安信大模型安全技术解决方案：包括“红域”安全隔离、用户权限管控、核心数据管控、攻击监测管控、大模型应用安全评估。
- 超聚变 xRAY 智能服务一体机解决方案：包括资源层、MaaS 平台、应用层。
- 恒安嘉新大模型安全监测解决方案：包括大模型 API 安全监测网关产品。
- 浙江大学 AI 安全应用实践：包括人工智能安全评测平台 AIcert、图像深度伪造检测平台 DFScan、大模型内容水印标识 GCmark。
AI 安全治理发展建议：
- 完善法律法规及标准治理体系：明确 AI 应用开发的全生命周期的安全责任主体与合规要求，建立分级分类的安全审查机制和风险预警体系，加快建立涵盖数据、算法、模型到应用场景的全流程 AI 安全标准。
- 围绕 AI 安全前沿技术开展系统攻关：重点突破模型鲁棒性与泛化增强、对抗样本检测与防御、大模型安全对齐、大模型幻觉减轻等关键技术，构建面向真实场景的动态防御体系，构建全生命周期的 AI 安全监测体系。
- 强化复合型人才培养与产学研协同创新：设立 AI 安全交叉学科，培育兼具 AI 算法开发与安全防御思维的复合型人才；推动高等院校、研究所与企业共建联合实验室和测试验证平台，加速攻防演练、AI 系统安全评估等技术的产学研转化。