大模型安全白皮书

大模型安全白皮书总结

范式迁移：从网络安全到大模型安全的时代挑战

• 安全升维：安全边界从网络扩展到模型全栈，大模型安全漏洞呈指数级增长，传统安全防御体系失效。
• 挑战交织：攻击面扩大（算力劫持、供应链投毒、LangChain漏洞），攻击主体平民化（提示注入、越狱攻击），构成多维、动态、交织的复杂威胁矩阵。
• 治理路径：中国“发展与安全并重”的敏捷治理之路，通过“包容审慎、分类分级”原则，平衡技术创新与风险防控。

大模型安全威胁全景透视

• 多维复杂态势：大模型安全风险涵盖基础设施层、内容层、数据层、智能体层及用户端五大层次。
• 基础设施层风险：算力劫持（如ShadowRay攻击）、供应链投毒（如Hugging Face恶意模型文件）、在线智能服务攻击（如LangChain漏洞）。
• 内容风险：内容合规风险、幻觉风险（如DeepSeek R1越狱）、越狱攻击风险。
• 数据与知识库风险：数据泄露、知识库越权搜索、内容不可信。
• 智能体行为风险：工具调用风险（第三方插件、代码执行、API滥用、MCP投毒攻击）、权限与行为风险（越权搜索、权限管控缺陷）、执行环境安全风险（恶意脚本、恶意插件）、隐私与协议安全风险。

源于实战：大模型安全的应对新思路

• 核心理念：外筑“以模治模”动态屏障，内固“平台原生”安全底座。
• 安全四原则：“安全”原则确保运行时安全防护；“向善”原则引导大模型积极有益发展；“可信”原则提升生成内容可信度；“可控”原则实现对智能体应用的有效管理。
• 全景框架：“外挂式安全 + 平台原生安全”双轨安全防护体系，覆盖知识库、智能体、客户端等核心组件。

360解决方案：可全链路的安全防护

• 外挂式安全：
  • 大模型卫士算力主机安全系统：AI资产发现、入侵检测与防御、漏洞检测与评估、MCP检测与防御。
  • 大模型卫士检测系统：大模型资产识别、全维度漏洞检测、交互式审计。
  • 大模型卫士防护系统：内容安全评测、内容安全护栏、模型全生命周期管理。
  • 大模型幻觉检测与缓解系统：权威信息实时获取、私域知识库访问、信息校验与修正。
• 平台原生安全：
  • 企业级知识库：精细化权限与分类管控、多场景安全防护、全链路数据安全保护体系、知识全生命周期管理、全行为日志审计。
  • 智能体构建和运营平台：功能调用管控、认知执行保障、权限分级隔离、MCP协议强化。
  • 智能体客户端：全生命周期的业务安全保障、安全访问、精准调度、权限管控三位一体的智能体客户端治理体系。

生态共治：构建可信AI生态

• 生态力量：参与国家标准制定、产学研协同（如TinyR1模型）、成立大模型安全联盟。
• 联合实践：联合产业与学术力量，共同探索安全、可控、可信赖的人工智能发展路径（如工信部人工智能大模型公共服务平台）。
• 未来倡议：呼吁AI企业坚守安全底线，践行原生安全理念；行业用户建立AI安全能力评估与审计机制，优选可信服务。