迈向评估前沿AI安全防护措施以防范生物滥用的统一标准

核心观点

• 当前问题：前沿AI模型在生物领域的应用存在被滥用的风险，但缺乏统一的标准来评估其安全防护措施的有效性，无法比较不同模型和部署环境下的防护水平，也未能根据模型能力的提升动态调整防护要求。
• 七项建议：针对上述问题，报告提出了七项建议，围绕四个原则展开：
  • 跨公司可比性：建议使用共享基准测试（如BioTIER）报告安全防护性能，包括按生物风险类别划分的拒绝率、良性提示的误报率，以及防护措施的鲁棒性评估（如红队测试）。
  • 考虑部署环境：建议针对不同的模型配置（如不同访问级别和平台）评估安全防护的充分性，因为相同的模型在不同环境下可能具有不同的防护措施。
  • 动态防护：建议明确说明随着生物能力提升，安全防护要求应如何加强，以及如何根据新发现重新评估和更新安全防护的充分性。
  • 保留合法科学使用：建议随着模型科学能力的提升，部署受信任的访问计划，允许经过审查的研究人员使用更强大的模型版本，并配合额外的监督措施。
• 评估框架：报告提出了一个初步的评估框架，涵盖访问控制、推理层和平台层三个层面，包含七个评估维度，旨在全面评估安全防护措施的性能，并形成综合的“安全防护级别”，以判断其是否足以抵御特定威胁行为者。
• 未来工作：将每个评估维度转化为具体的评估协议，并在现有的前沿模型部署中进行试点，以定义每个维度的阈值和综合规则。

关键数据

• BioTIER基准测试：区分了良性生物学提示（BioTIER-permit）和应被拒绝的提示（BioTIER-refuse），并在拒绝类别中进一步标记了涉及受监管病原体或毒素的提示（Select Agent）。
• Anthropic数据：Anthropic的企业客户收入占比高达80%，其Claude模型通过Amazon Bedrock部署时，监控功能由运营商控制而非模型提供方。
• OpenAI数据：Azure OpenAI允许企业用户修改或禁用内容过滤阈值，导致拒绝率低于OpenAI的默认API。
• UK AISI报告：Anthropic和Google DeepMind等公司承认其模型可能为生物武器开发提供帮助。

研究结论

• 当前前沿AI模型的安全防护措施评估缺乏标准化，无法有效判断其有效性或比较不同提供方和部署环境。
• 需要改进安全防护措施的报告和评估方法，以应对模型能力的提升和生物滥用的风险。
• 建议的实施者包括前沿AI开发公司、AI安全研究所、评估机构和标准制定机构。
• 需要建立一个更全面的评估框架，涵盖安全防护措施的各个方面，以形成综合的安全防护级别，并根据威胁行为者的能力进行校准。