DeepSeek-V3和R1是混合专家(MoE)架构的大模型,在开源社区具有较大影响力。V3采用多头潜注意力(MLA)和DeepSeekMoE架构等创新技术,在代码生成、逻辑分析等任务中表现出色,并显著降低训练计算量。R1则在CoT(思维链)训练方面取得进展,R1-Zero通过强化学习训练,具备较强的推理能力,而R1则采用多阶段训练方法,结合SFT和强化学习,提升语言可读性和推理性能。
V3/R1的关键创新包括:
- MLA: 通过低秩键值联合压缩,显著减小KV缓存,提高计算效率。
- DeepSeekMoE: 采用细粒度专家+共享/通用专家的思路,减少专家参数冗余,并采用无辅助损失负载平衡策略,提高训练稳定性。
- FP8训练框架: 通过低比特计算和存储,实现训练加速和GPU内存使用减少。
- DualPipe算法: 实现高效的流水线并行,并通过计算-通信重叠隐藏通信开销。
- 跨节点All-to-All通信: 充分利用InfiniBand(IB)和NVLink带宽,并优化显存使用。
R1的训练流程包括:
- R1-Zero: 使用强化学习进行训练,提升推理能力。
- DeepSeek-R1: 采用多阶段训练方法,包括SFT和强化学习,提升语言可读性和推理性能。
- 蒸馏SFT: 将推理能力迁移到MoE架构不适合的场景,如Dense模型。
研究结论:
- DeepSeek在算法架构和AI Infra方面具有国际一线水平,其技术成果为国产AI芯片发展提供启示。
- MoE架构在通用AI领域具备成本优势,但专业应用场景仍以Dense模型为主。
- 算力对模型进步至关重要,发展新架构AI芯片对中国的芯片产业尤为重要。