大型语言模型 （ LLM ） 威胁性分类

大型语言模型（LLM）威胁分类概述

《大型语言模型（LLM）威胁分类》一文，由云安全联盟（Cloud Security Alliance，CSA）的人工智能（AI）控制框架工作组编写，旨在构建一套通用的术语定义和分类体系，以协助行业内部沟通与协调，特别是在AI安全倡议的背景下。此文档特别关注于大型语言模型（LLM）的风险场景和威胁，提供了对这一领域内关键概念的全面定义。

LLM资产与架构

• 数据资产：包括用于训练、微调、检索增强生成（RAG）、数据元数据、输入数据、用户会话数据、模型输出数据、模型参数（权重）和日志数据等，这些资产在塑造LLM服务的效能和功能方面起着核心作用。
• LLM-OPS云环境：涉及云平台下的训练环境、推理点、AI应用的公共/私有/混合云部署、安全性保障及持续监测等，确保LLM系统的平稳运行和安全操作。

LLM模型及其特性

• 基础模型、微调模型、开源与闭源模型、域特定模型和模型卡，构成了模型开发的支柱，强调了模型选择、优化和透明度的重要性。

编排服务

• 包括缓存服务、安全网关、部署服务、监控服务、优化服务、安全插件和用于自定义与集成的插件，旨在提升LLM的操作效率、安全性和灵活性。

AI应用程序

• AI应用程序已广泛应用于内容生成、翻译、问答、情感分析等领域，成为连接用户与LLM底层智能的关键界面。文档强调了AI控制框架在AI应用程序开发、部署和维护中的必要性，以确保透明度、合规性与责任。

结论

通过构建这套通用的术语定义和分类体系，文档旨在减少混淆，促进概念间的连接，并支持更精确的对话。它不仅为LLM的资产管理、模型开发、编排服务和AI应用提供了明确的框架，还强调了在AI控制框架中优先考虑AI应用程序治理的重要性，以应对与LLM驱动应用相关的挑战和风险。