1.1 研究背景及意义
人工智能加速落地但安全风险凸显,成为制约产业发展的短板。典型事件包括Anthropic模型因安全隐患被紧急叫停,OpenClaw智能体因提示词注入等漏洞被禁用,以及Skill模块中54.7%存在安全缺陷。全球主要经济体将AI上升为国家战略,强化政策部署,推动AI安全治理。
1.2 主要研究内容
研究体系化安全检测与风险评估方法,实现从检测到评估、修复决策的全链条能力,包括多层级安全检测(7层漏洞分类)、多环节风险评估、跨层级安全量化、全生命周期风险定级和跨层传导防御成本效益分析,旨在打造安全AI系统。
2.1 人工智能安全缺陷及漏洞分类体系
2.1.1 漏洞分类:涵盖权限提升攻击、指令遗忘攻击、上下文长度攻击等7类。
2.1.2 检测工具:提示词注入风险居首,技术门槛低、危害大,头部厂商均重视防御。
2.1.3 工业智能体Skills安全测评:发现供应链风险、权限过度配置、代码漏洞、过度授权、提示词注入隐患和准入审查不足等问题。
2.2 人工智能系统多环节安全风险评估框架
2.2.1 框架设计:拆解技术体系架构和全生命周期,评估宏观安全维度(基础架构、数据、模型算法、应用)下的具体风险。
2.2.2 评估方法:结合国家标准、政策规范、行业标准等多维度标准,实现技术领域和生命周期阶段的风险评估。
2.3 人工智能系统跨层级动态安全量化模型
2.3.1 模型构建:解决风险跨层耦合传播的痛点,缺乏统一量化标准导致资源配置低效。
2.3.2 量化闭环:通过三大模型形成量化闭环,案例验证CVE-2024-0132(英伟达高危漏洞)。
2.3.3 安全左移:威胁在层间快速扩散,需动态量化模型应对。
- 主要研究成果
构建全链条Skill安全治理体系,提出多层级检测、多环节评估、跨层级量化方法,形成AI系统安全风险闭环管理,为AI安全防护提供全生命周期解决方案。