OWASP Top 10 for LLM Applications 2025 版本于 2024 年 11 月 18 日发布，旨在帮助开发者和安全专业人员应对大型语言模型 (LLM) 应用中的安全问题。该版本由全球范围内的贡献者共同制定，反映了当前 LLM 应用的最新趋势和安全挑战。
核心观点
- LLM 应用安全风险日益增加：随着 LLM 技术的广泛应用，相关的安全风险也在不断增长，需要开发者和安全专业人员更加关注。
- 2025 版本更新内容：该版本在 2023 版本的基础上进行了更新，引入了新的风险，并对现有风险进行了扩展和细化。
- 十大 LLM 应用安全风险：该版本列出了 LLM 应用中的十大安全风险，包括提示注入、敏感信息泄露、供应链风险、数据和方法中毒、不当的输出处理、过度代理、系统提示泄露、向量和嵌入弱点、错误信息以及无限制消耗。
关键数据和研究结论
- 提示注入：提示注入漏洞允许用户输入改变 LLM 的行为或输出，可能导致敏感信息泄露、内容操纵、未经授权的访问等。
- 敏感信息泄露：LLM 应用可能泄露个人身份信息 (PII)、财务细节、健康记录、机密商业数据等敏感信息。
- 供应链风险：LLM 供应链容易受到各种漏洞的影响，包括第三方软件包漏洞、许可证风险、过时或已弃用的模型、易受攻击的预训练模型等。
- 数据和方法中毒：数据中毒是指通过操纵训练数据或嵌入数据来引入漏洞、后门或偏见，可能导致模型输出不准确、存在偏见或被恶意利用。
- 不当的输出处理：LLM 生成的输出可能需要进行验证、清理和处理，以防止跨站脚本 (XSS)、跨站请求伪造 (CSRF) 等安全漏洞。
- 过度代理：过度代理是指 LLM 系统被赋予过多的权限和自主性，可能导致未经授权的操作或损害。
- 系统提示泄露：系统提示可能包含敏感信息，如 API 密钥、数据库凭据等，需要避免泄露。
- 向量和嵌入弱点：向量和嵌入是检索增强生成 (RAG) 的核心技术，其弱点可能导致未经授权的访问、数据泄露和模型输出操纵。
- 错误信息：LLM 可能产生错误或误导性信息，需要采取措施进行验证和纠正。
- 无限制消耗：无限制消耗是指 LLM 应用允许用户进行过多的推理操作，可能导致拒绝服务 (DoS)、经济损失和模型盗窃。
预防措施
- 实施严格的输入和输出验证：防止恶意输入和输出，并确保数据安全。
- 最小化扩展和权限：限制 LLM 系统的功能和权限，避免过度代理。
- 实施访问控制：限制对敏感数据和系统的访问，确保最小权限原则。
- 使用安全编码实践：防止代码注入和其他安全漏洞。
- 实施监控和日志记录：检测和响应可疑行为。
- 进行对抗性测试和攻击模拟：评估 LLM 系统的安全性。
- 使用安全技术和工具：例如，使用数据清理工具、水印技术等。
总结
OWASP Top 10 for LLM Applications 2025 版本为开发者和安全专业人员提供了 LLM 应用安全的重要参考，帮助他们了解和应对 LLM 应用中的安全风险，并采取相应的预防措施，确保 LLM 应用的安全性和可靠性。
