2024年大模型安全实践报告——真实漏洞视角下的全面探讨

大模型安全漏洞全面探讨总结

一、概述

• 研究背景：AI与大模型快速发展带来新的安全风险
• 研究范围：模型层、框架层、应用层安全问题
• 研究方法：代码分析、漏洞审计
• 主要发现：近40个开源项目漏洞（llama.cpp、Dify等），涵盖经典漏洞类型和模型特有问题

二、漏洞列表

• 未具体列出，但贯穿全文分析

三、模型层安全

• 数据投毒：
  • 攻击方式：污染开源数据集或训练时收集的数据
  • 案例：60美元可污染0.01% LAION-400M数据集，100个中毒样本致恶意输出
• 后门植入：
  • 攻击方式：植入隐蔽触发器，特定条件下操控输出
  • 案例：HuggingChatAssistants平台后门模型窃取用户隐私
• 对抗攻击：
  • 攻击方式：修改输入数据导致错误预测（图像：FGSM算法示例）
  • 案例：LLM“越狱”技术持续输出不道德内容
• 数据泄露：
  • 泄露类型：训练数据隐私、配置敏感数据、模型关键信息
  • 攻击方式：构造提示词查询模型还原原始数据
• 小结：数据污染、功能干扰、隐私泄露是主要威胁，需加强模型可检测性

四、框架层安全

• 计算校验与运行效率矛盾：
  • 问题：C/C++框架内存安全与效率权衡
  • 案例：Tensorflow、Paddle最新版仍存在内存破坏漏洞
• 处理不可信数据：
  • 攻击方式：
    • 原始数据预处理：文件格式漏洞
    • 模型加载：反序列化漏洞（PyTorch Pickle反序列化代码执行）
  • 案例：HuggingFace安全问题结合AmazonEKS漏洞实现跨租户访问
• 分布式场景安全问题：
  • 框架：llama.cpp、Horovod、Ray
  • llama.cpp：rpc-server内存破坏漏洞可致远程代码执行
  • Horovod：反序列化漏洞可绕过签名校验实现代码执行
  • Ray：Pickle反序列化无身份认证，可远程执行代码
• 小结：框架安全防护不足，需加强隔离与认证

五、应用层安全

• 前后端交互传统安全问题：
  • 案例：
    • IntelNeuralCompressor：SQL注入、命令注入漏洞
    • AnythingLLM：APIkey泄露漏洞
• Plugin能力缺少约束：
  • 数据检索处理：
    • PandasAI：SQL注入通过恶意提示词影响SQL query
    • Copilot：通过污染知识库文件实现注入
  • 任意代码执行与沙箱机制：
    • Dify：沙箱逃逸实现root权限代码执行
    • ChatGPT4：gVisor沙箱仍存在逃逸风险
• 小结：需控制Plugin权限，加强沙箱防护

六、总结

• 大模型安全问题是多层面问题，涉及数据、模型、框架、应用
• 攻击者可利用模型特性实现更隐蔽、更复杂的攻击
• 需从全生命周期加强安全防护，平衡效率与安全