大语言模型威胁分类

大语言模型威胁分类报告

目标与范围： 本报告旨在为与大语言模型（LLM）相关的风险场景和威胁建立通用的分类和定义，提供一个共享的语言和概念框架以供业界沟通交流，并指导其在云安全联盟（CSA）人工智能（AI）安全计划下进行更多研究。

核心内容：

• 大语言模型概述： 定义了实施、管理大语言模型系统所必需的基础组件，包括数据资产（如训练数据、模型参数）、云上运维环境（如运行训练环境的云、持续监控）、模型（如通用大模型、微调模型）、服务编排（如缓存服务、安全网关）以及AI应用（如内容生成、智能问答）。
• LLM服务的生命周期： 概述了LLM服务的不同生命阶段，包括准备（数据收集、资源供应）、开发（设计、训练）、评估与确认（评估、验证/红队）、部署（编排、AI服务供应链）、交付（运营、维护、持续改进）和服务退出（归档、数据删除、模型处置）。
• 大语言模型服务影响分类： 将影响类别对应到CIA安全三要素（机密性、完整性和可用性），并增加了“滥用/误用”和“隐私丧失”这两个新的影响类别。
• 大语言模型服务威胁分类： 涵盖了一系列需要重点考虑并缓解的潜在风险和漏洞，包括模型操纵、数据投毒、敏感数据泄露、模型窃取、模型故障/失灵、不安全的供应链、不安全的应用程序/插件、拒绝服务以及缺少治理/合规性。

研究结论： 本报告为LLM风险管理和安全控制领域提供了关键参考资料，帮助各界在应对LLM带来的技术挑战时做出更明智的决策，为未来的研究、政策制定以及行业发展提供坚实的理论支撑。