DeepSeek-R1 的推理循环问题

您问的应该是 R1 这类推理模型在推理过程中出现“循环”的现象。结合参考资料，我从几个角度来梳理一下：

一、什么是推理循环？

推理模型（如 DeepSeek-R1）会生成长思维链来解决复杂问题，但在低温采样或贪心解码时，模型经常陷入循环，不断重复相同的文本内容 【1】 。简单说，就是模型“想不出来”时开始原地打转，反复说同样的话。

二、R1 本身就存在重复问题

其实这个问题在 R1 的训练过程中早有体现：

• R1-Zero 阶段：纯强化学习训练的 R1-Zero 就存在“无休止重复、可读性差、语言混杂”等问题 【5】
• R1 的改进：为了解决这些问题，R1 引入了多阶段训练和冷启动数据 【2】 【3】 ——先用少量长 CoT 数据做冷启动微调，再进行大规模 RL，最后通过拒绝采样和全场景 RL 对齐人类偏好 【12】
• 实际体验：用户测试中也发现 R1 偶尔会在较简单的问题上反复思考 【4】

三、为什么会出现循环？

根据最新的研究（2025年12月）， looping 现象有几个规律 【1】 ：

1. 低温下更常见：低温采样或贪心解码时 looping 频发
2. 模型越大越少循环：规模更大的模型 looping 倾向更低
3. 蒸馏模型更容易循环：有趣的是，蒸馏出的学生模型 looping 显著，而它们的教师模型却很少循环——这指向训练分布与模型学到的知识之间存在错配

四、相关的其他“过度思考”问题

除了循环，R1 还存在过度深度推理的问题——把简单问题复杂化，原因可能是 SFT 阶段的推理 Query 没有区分难度；此外还有高级词汇滥用（如到处用“量子纠缠”“熵增熵减”），疑似某种形式的 reward hacking 【15】 。

小结

推理循环本质上是推理模型的“通病”：RL 训练让模型学会了长时间思考（CoT 越长推理越准 【8】 ），但也带来了重复、过度思考等副作用。缓解方向包括：更大的模型规模、更好的训练数据分布匹配、以及在 SFT 阶段区分问题难度 【1】 【15】 。

---

参考来源： 【1】 arXiv:2512.12895《Wait, Wait, Wait... Why Do Reasoning Models Loop?》； 【2】 【3】 DeepSeek-R1 论文； 【4】 R1 实测报告； 【5】 R1 论文引言； 【8】 联储证券研究院报告； 【12】 R1 训练框架解析； 【15】 R1 相关技术分析