大模型时代下的安全挑战及应对

生成式大模型安全现状

• 政策法规与标准：大模型安全相关法规、标准逐步完善，要求不断提高。关键法规包括《生成式人工智能服务管理暂行办法》（2023.7，备案、安全评估）、《互联网信息服务算法推荐管理规定》（2021.12，备案、安全评估）、《互联网信息服务深度合成管理规定》（2022.12，备案、安全评估）等。技术标准如GB/T 42888-2023《信息安全技术机器学习算法安全评估规范》、TC260-003《生成式人工智能服务安全基本要求》、TC260-PG-20233A《网络安全标准实践指南-生成式人工智能服务内容标识方法》等。
• 行业实践：腾讯参与AI大模型专项实网演练（唯二未失分）及沙盘推演（胜方并荣获最佳辩手），2025年近200家已备案大模型企业均须参加国家攻防演练。

生成式大模型安全风险案例

• 大模型+安全概览：涵盖大模型本体安全（自建本地大模型）、大模型应用安全（使用大模型）、大模型赋能安全（LLM赋能DevSecOps、LLM赋能安全运营）。
• 大模型本体安全风险：通用漏洞、内容安全、数据泄露、Prompt注入等。
• 大模型应用安全风险：数据隐私、资源滥用等。
• 大模型赋能安全风险：LLM赋能场景下的特定安全挑战。
• 风险案例：
  • Manus大模型Agent漏洞：多Agent核心提示词泄露、29个工具链调用逻辑与沙箱内部代码泄露。
  • OpenWebUI漏洞 (CVE-2024-6707)：上传文件名可伪造，允许上传恶意模型执行任意代码或实现远程命令执行。
  • 开发环境安全风险：版本控制工具（gitlab）、常用工具（Jenkins、Jira等）存在漏洞，如CVE-2024-45409（任意用户登录漏洞）。
  • 模型部署阶段风险：
    • 样本对抗评估：提示词泄漏攻击、数据泄漏、越狱攻击（如“奶奶漏洞”）、毒性生成、幻觉、模型后门。
    • AIagent漏洞评估：命令执行漏洞攻击、服务器端请求伪造攻击。

生成式大模型安全解决方案

• 安全评估方案：腾讯云鼎实验室提供生成式大模型安全评估框架，覆盖模型生命周期（开发、训练、部署），结合传统安全（CWETOP40、TISEAA-006-2024大模型安全测评要求）、开源依赖组件安全、推理框架安全、模型开发库安全等。
• 安全防护方案：
  • 模型训练安全：基础设施安全、推理部署业务应用可用性、应用攻击风险防护。
  • 模型输入安全：安全合规风险、提示注入风险、数据投毒风险。
  • 模型输出安全：内容安全过滤、Prompt安全检测。
  • 大模型滥用风险：DDoS攻击防护、API安全防护、基础服务组件/AI组件风险、后门植入风险、账号盗用风险等。
  • 核心技术：攻防对抗模型引擎、密码学技术、机器学习、图计算分析、敏感数据识别、主机/容器安全、大模型威胁情报、蓝军攻防演练。
• 安全服务与产品：腾讯拥有丰富AI应用生态和安全防护经验，提供外部安全众测、AI-SPM（人工智能安全态势管理）、主机安全防护（HIDS）、云容器安全（TCSS）、BASAI专项验证、云防火墙（CFW）、大模型应用防火墙（LLMWAF）、数据安全态势（DSPM）等。
• 运行环境保障：
  • 腾讯LLM-WAF：大模型智能安全防护网关，提供多模型、多场景、高并发环境下的全链路防护，支持实时检测并拦截算力滥用、提示词攻击及数据泄露风险。
  • 腾讯AI-SPM：大模型攻击面和漏洞管理系统，保护大模型基础设施运行环境，及时发现和处置安全风险。