DeepSeek-R1/Kimi 1.5及类强推理模型开发解读

DeepSeek-R1 开创了 RL 加持下强推理慢思考范式的新边界。该模型独立发现了通往 OpenAI o1 的核心理念，并展现出强大的推理能力和长文本思考能力。DeepSeek-R1 Zero 无需监督微调 SFT，完全依赖强化学习构建，随着训练步骤增加，模型逐渐展现出长文本推理及长链推理能力，并表现出自我修复和启发式搜索的能力。

DeepSeek-R1 在数学代码任务上表现突出，在 AIME2024 上获得了 79.8% 的成绩，略高于 OpenAI-o1-1217。在 MATH-500 上，获得 97.3% 的惊人成绩，表现与 OpenAI-o1-1217 相当。在编码相关的任务中表现出专家水平，在 Codeforces 上获得了 2029 Elo 评级，在竞赛中表现优于 96.3% 的人类参与者。

DeepSeek-R1 在知识类问答上推动科学探索边界，在 MMLU、MMLU-Pro、GPQA Diamond 等 STEM 相关榜单上取得良好表现。R1 展现出强推理模型在 AI-Driven Research 的潜力，在长文本依赖任务如 FRAMEs 和事实性推断任务 Simple-QA 上表现突出。

DeepSeek-R1 Zero 的关键启示是跳过 SFT 阶段，直接运用纯强化学习拓展推理能力边界。这需要足够强的基座模型、大规模强化学习加持和规则化奖励。冷启动让 RL 训练更加稳定，避免初期不稳定、加速收敛、提升思维链可读性。

DeepSeek-R1 的技术 Pipeline 包括双重验证、推理为中心的 RL、全领域 RL 和反思数据冷启动。最终版本的 R1 不仅在推理和对话能力上达到了高水平，还具备更安全的交互性能。

DeepSeek-R1 的技术亮点总结如下：

• 纯 RL 开发推理能力，跳过 SFT 阶段，节省标注成本，模型更自由探索。
• 多阶段训练下的冷启动让 RL 训练更加稳定，加速收敛，提升思维链可读性。
• 推理为中心的 RL 训练，兼顾推理性能、帮助性和安全性。
• 基座模型 DeepSeek-V3 超过了某个质量和能力阈值，提供了类似于 System I 的足够好的 Prior Distribution 直觉。
• 大规模 RL 起到了激活和发掘预训练阶段积累的知识和推理能力的作用。

未来技术方向展望包括：

• 长思维链可解释性。
• 模态扩展 + 模态穿透进一步拓展强推理边界。
• 强推理能力赋能 Agentic 发展。
• 强推理模型的监管和安全保证。
• 形式化验证。
• 审计对齐。