人工智能安全风险测评（2025 年）

人工智能发展与安全

发展态势：高速迭代演进

• 生成式人工智能技术发展提速：模型架构从密集架构转向稀疏专家混合模型，参数规模突破万亿大关；算力竞争加剧，基础设施加速建设；多模态能力与上下文处理突破，感知极限；推理能力与逻辑思维达到质的飞跃。
• 生成式人工智能产业创新加快：产业形态从单一工具向生态系统演进；产业投资加速资源整合；产业生态网络化拓展。
• 生成式人工智能应用范围拓展：科研效能持续攀升；企业赋能效应凸显；交互方式运用日新月异。

安全治理：全球高度重视

• 联合国：推动包容性治理，搭建制度框架，弥合发展鸿沟。
• 中国：统筹发展与安全，完善制度规范框架，夯实风险测评根基，构建标准体系。
• 美国：推行“宽松”治理，支持行业自律，重视制度导引，构建生态体系。
• 欧盟：强调分级管理和风险防范，推动集中治理，注重法制建设，突出分级管理。
• 英国：设计柔性监管的创新路径，强调行业主导原则，强化跨机构协作。
• 新加坡：规划问责导向的实用主义治理，坚持“软法”与“硬法”结合。

风险测评：重要保障手段

• 国际测评实践：呈现“技术专项化、合规场景化”特征，可分为公共机构测评平台、厂商测评平台、红队攻防评测工具集等三类。
• 公共机构测评平台：如美国的Dioptra、英国的Inspect、新加坡的Moonshot。
• 厂商测评平台：如Microsoft Azure AI、Google Cloud Vertex AI、Amazon Bedrock。
• 红队攻防评测工具集：如PyRIT、Garak、DeepTeam、Promptfoo、ViolentUTF。

人工智能安全风险

• 风险特征：动态性、对抗性、系统性。
• 风险框架：全景式、全链路，贯穿“系统规划与设计、数据采集与处理、模型训练与构建、模型验证与确认、平台部署与集成、系统运行与监测、用户使用与影响”七个生命周期阶段，对应覆盖“应用环境、数据和输入、人工智能模型、任务和输出、人类社会”五大关键维度。
• 风险趋势：从“单一”到“多模态”、从“黑盒”到“白盒”、从“虚拟”到“现实”、从“生成器”到“执行者”。

人工智能安全风险测评体系

• 测评目的：锚定“安全性、可靠性、可控性、公平性”四大核心目标，细化为六大维度。
• 测评内容：覆盖技术安全、内容安全、伦理安全、供应链安全等维度，聚焦供应链、数据、模型自身、价值观与伦理对齐、运行态系统五大安全风险测评重点。
• 测评方法：多元化技术路径，融合规则化、对抗性、量化分析、场景仿真、智能自适应及形式化验证等方法。
• 测评对象：系统全栈分层，包括设施层、数据层、模型层、应用层。
• 测评度量：风险等级划分，构建“多层级测评指标体系”，将风险映射至红、橙、黄、绿四级风险区间。

人工智能安全风险测评关键技术

• 输入层测试：针对用户输入与外部数据，包括越狱测试、提示词注入测试、提示词泄露测试、对抗样本测试等。
• 训练层测试：针对模型训练过程，包括数据投毒、后门攻击等。
• 模型层测试：针对模型本身，包括模型窃取、模型文件篡改与后门植入等。
• 输出层测试：针对模型输出与决策，包括输出操纵、数据提取与推断测试、幻觉检测与评估等。
• 部署层测试：针对系统部署与交互，包括组件供应链测试、API滥用与护栏绕过、MCP协议测试等。

人工智能安全风险测评展望

• 发展趋势：自动化测评、全生命周期融合、跨模态测评。
• 测评标准：推动国际测评标准的构建与兼容，构建产学研协同的测评生态体系。
• 应对挑战：测评技术滞后于人工智能技术发展、复杂系统的黑箱特性、跨领域融合导致风险传导复杂。