大模型安全研究报告（2024 年）总结
大模型技术演进
大模型技术经历了探索期（2017-2021年）、爆发期（2022-2023年）和提升期（2024年至今）三个阶段。早期以预训练语言模型为主，如GPT-1、BERT和GPT-3；中期以语言大模型兴起，如ChatGPT等；近期则进入多模态大模型阶段，如Sora、GPT-4o等。多模态大模型能处理语言、图像、声音等多源信息，初步具备类似人类的感知和理解物理世界的能力。
大模型面临的安全挑战
大模型在广泛应用中面临严峻的安全挑战，主要来自训练数据、算法模型、系统平台和业务应用四个层面。
训练数据安全风险
- 训练数据违规获取、含有违法不良信息、投毒、质量低下、缺乏多样性等。
- 具体风险包括：训练数据泄露、违法不良信息、数据投毒、模型“幻觉”、模型偏见、模型可解释性差等。
算法模型安全风险
- 模型鲁棒性不足（分布外和对抗鲁棒性）、数据泄露、用户恶意使用等。
系统平台安全风险
- 机器学习框架安全隐患、开发工具链安全风险、系统逻辑缺陷风险、插件相关安全风险等。
业务应用安全风险
大模型带来的安全机遇
大模型在逻辑推理、任务编排等方面的能力，为解决网络空间安全瓶颈问题提供了新机遇，如：
- 提升网络威胁识别防御响应的精准度和时效性。
- 提升数据安全技术的普适性和易用性。
- 提升内容安全技术的鲁棒性和准确性。
大模型安全研究范围
大模型安全由大模型自身安全和大模型赋能安全两个核心要素构成。
大模型自身安全框架
大模型自身安全框架涵盖安全目标、安全属性、保护对象和安全措施四个层面。
安全目标
- 训练数据安全可信、算法模型安全可靠、系统平台安全稳定、业务应用安全可控。
安全属性
- 真实性、多样性、准确性、机密性、可问责性、可预测性、公平性、透明性、可解释性、合规性、可靠性、可控性、鲁棒性。
保护对象
安全措施
- 训练数据安全措施：数据合规获取、数据标注安全、数据集安全检测、数据增广与数据合成、安全对齐数据集构建。
- 算法模型安全措施：模型内生安全评测、模型鲁棒性增强、模型“幻觉”缓解、模型偏见缓解、模型可解释性提升。
- 系统平台安全措施：系统安全加固保护、大模型插件安全保护。
- 业务应用安全措施：输入输出安全保护、生成信息标识、账号恶意行为风控、用户协议和隐私政策。
大模型赋能安全
大模型在网络安全、数据安全、内容安全等领域展现出赋能作用。
大模型赋能安全框架
大模型赋能安全框架涵盖风险识别、安全防御、安全检测、安全响应、安全恢复五个环节。
大模型赋能网络安全
- 风险识别：智能威胁情报生成整合、自动化漏洞挖掘、自动化代码审计、智能网络攻击溯源。
- 安全检测：自动化告警分析、智能报文检测、智能钓鱼邮件检测、智能未知威胁检测。
- 安全防御：动态策略管理。
- 安全响应：智能响应、智能事件报告生成。
- 安全恢复：智能应急策略制定。
大模型赋能数据安全
- 自动化数据分类分级。
- 自动化 APP（SDK）违规处理个人信息检测。
大模型赋能内容安全
- 智能文本内容安全检测。
- 智能图像视频内容安全检测。
- 智能音频内容安全检测。
大模型安全展望
- 大模型技术产业将向深刻理解并有效改造数字世界和物理世界的阶段发展。
- 大模型将显著提升现有安全技术的性能和智能化水平，并潜力成为安全防护的核心。
- 大模型产业将转向全面赋能各行业及催生新兴领域，如自主机器人、智能穿戴设备、全自动驾驶汽车等。
大模型自身安全展望
- 大模型技术发展可能对国家社会秩序带来冲击，如信息真实性难以辨别、物理环境安全受威胁等。
- 未来需构建层次化治理体系和创新安全保护技术，以应对大模型安全风险。
