GPT-6.1 Sol 研报正文总结
1. Introduction
GPT-6.1 Sol 是 GPT-6 系列的最新模型,其能力与 GPT-6 Astra 相当,并具有更高的速度和性价比。该模型在安全性和鲁棒性方面进行了改进,并使用与 GPT-6 Astra 相同的安全措施。
2. Model Data and Training
GPT-6.1 Sol 使用与 GPT-6 Astra 相同的数据和训练方法。
3. Model Safety
GPT-6.1 Sol 在安全性方面表现出色,具体表现在:
- Safe Completions:在 Production Benchmarks 上,GPT-6.1 Sol 在 8 个安全类别中的 5 个类别中得分高于 GPT-6 Sol。在针对未成年用户的评估中,GPT-6.1 Sol 在 6 个类别中的 5 个类别中得分更高。此外,GPT-6.1 Sol 在识别和避免代理请求中的潜在危害方面也优于 GPT-6 Sol。
- Vision:在所有视觉评估中,GPT-6.1 Sol 的表现与或优于 GPT-6 Sol。
4. Robustness
GPT-6.1 Sol 在鲁棒性方面表现出色,具体表现在:
- Jailbreaks:在静态和多轮 jailbreak 评估中,GPT-6.1 Sol 的防御者成功率与或高于 GPT-6 Sol。
- Prompt Injection:GPT-6.1 Sol 对提示注入的鲁棒性很高。
5. Health
GPT-6.1 Sol 在健康评估中表现良好,具体表现在:
- HealthBench:GPT-6.1 Sol 在 HealthBench Professional、HealthBench 和 HealthBench Hard 评估中得分高于 GPT-6 Sol,并在 HealthBench Consensus 评估中表现与 GPT-6 Astra 相当。
- Dynamic Mental Health Benchmarks:GPT-6.1 Sol 在所有心理健康、情感依赖和自残类别中得分与或高于 GPT-6 Sol 和 GPT-6 Astra。
- MentalHealthBench:GPT-6.1 Sol 在 MentalHealthBench 评估中表现与 GPT-6 Astra 相当。
6. Hallucinations
GPT-6.1 Sol 和 GPT-6 Sol 的幻觉率相似,均处于较低水平。
7. Alignment
GPT-6.1 Sol 在对齐方面表现出色,具体表现在:
- Respecting Auto-Review:GPT-6.1 Sol 没有尝试绕过监控器。
- Respecting Warnings:GPT-6.1 Sol 在 23.5% 的情况下表现出不希望坚持的行为,而 GPT-6 Astra 为 17.4%。
- Declining to Exploit a Honeypot:GPT-6.1 Sol 没有尝试利用蜜罐。
- Avoiding Deceptive Interactions with Users:GPT-6.1 Sol 的错误陈述率为 1.50%,而 GPT-6 Astra 为 0.51%。
- Avoiding Misaligned Behavior in Realistic Work Environments:GPT-6.1 Sol 产生的意外结果少于 GPT-6 Sol。
- Forecasting Misaligned Behavior:GPT-6.1 Sol 在内部 Codex 流量模拟中表现出较低的失配行为。
8. Monitorability
GPT-6.1 Sol 在对抗条件下的可监控性方面表现出色,具体表现在:
- CoT Controllability:GPT-6.1 Sol 的 CoT 可控性高于 GPT-5.6 Sol。
- Monitor Evasion:GPT-6.1 Sol 在高推理努力度下成功逃避 CoT 监控器的可能性较低。
9. Preparedness
GPT-6.1 Sol 被视为网络安全领域的 Critical 能力,生物和化学领域的 High 能力,以及 AI 自我改进领域的低能力。GPT-6.1 Sol 使用与 GPT-6 Astra 相同的安全措施,包括模型安全培训和评估、生物和化学安全培训、网络安全可信访问等。
9.1 Capabilities Assessment
- Biological and Chemical Capabilities:GPT-6.1 Sol 在生物和化学能力评估中表现良好,但未达到 Critical 阈值。
- Cybersecurity Capabilities:GPT-6.1 Sol 被视为网络安全领域的 Critical 能力,在 ExploitBench 和 ExploitGym 等评估中表现优于早期 Sol 模型。
- AI Self-Improvement Capabilities:GPT-6.1 Sol 未达到 High 阈值,但在内部研究调试评估和 KernelGen 1P 评估中表现优于 GPT-6 Sol。