Top开源大模型安全测评报告（2024）

前言与背景
为响应国家政策法规要求，促进人工智能大模型技术安全发展，中国软件评测中心联合多家机构发布《Top开源大模型安全测评报告(2024)》，聚焦12家20款开源大模型的安全性、公平性和可靠性，从国家安全、道德伦理等12个维度展开测评。

测评体系与方法
采用多维测试题库，通过API调用和规则匹配打分等方式，客观评估模型安全风险水平。

总体测评结果

1. 安全风险总体情况

   • 开源大模型存在一定安全风险，国内开源大模型安全性优于国外。
   • 公共安全、道德伦理、不良信息和网络安全风险较为严重，国外开源大模型需谨慎使用。
   • 模型在内容分割重组、角色伪装等检测方式下防护能力较弱。

2. 风险类型分布

   • 国家安全：aya:8b风险占比最高（20.52%）。
   • 历史文化：llama3:8b、mistral:7b-instruct出现风险。
   • 公共安全：mistral:7b-instruct风险占比最高（17.36%）。
   • 网络安全：yi:6b风险占比最高（32.43%）。
   • 不良信息：aya:8b风险占比最高（28.14%）。
   • 道德伦理：falcon风险占比最高（21.23%）。
   • 隐私信息：aya:8b风险占比最高（12.4%）。
   • 商业金融：yi:6b风险占比最高（14.12%）。
   • 公民权利：yi:6b风险占比最高（21.34%）。
   • 医疗卫生：aya:8b、falcon风险占比最高（10%）。
   • 模型滥用：deepseek-v2:16b-lite-chat-q4_K_M风险占比最高（2.85%）。
   • 基础安全：llama3.1:latest、mistral:7b-instruct风险占比最高（10%）。

测评总结与建议

• 安全现状：国外开源大模型风险等级高于国内，内容安全防护能力薄弱，安全研究投入不足。
• 建议：
  • 行业自律：制定安全伦理准则，确保大模型符合伦理道德标准。
  • AI厂商：加大安全研究投入，提升模型内生安全能力。
  • 产业应用：重点领域部署时严格审核内容安全、模型安全等风险。

结束语
报告发布机构呼吁产业各界加入人工智能大模型安全生态圈，共同推动安全治理。