DeepSeek-V3 技术报告

核心观点

• DeepSeek-V3 是一个参数总量为 671B、每个标记激活参数量为 37B 的强大专家混合（MoE）语言模型，在 14.8 万亿个多样且高质量的标记上进行预训练。
• 模型采用了多头潜在注意力（MLA）和 DeepSeekMoE 架构，并引入了无辅助损失的负载均衡策略和多标记预测训练目标，以提升性能和效率。
• DeepSeek-V3 在多个基准测试中优于其他开源模型，并实现了与领先闭源模型相当的性能，尤其在代码和数学方面表现突出。
• 模型的完整训练仅需 2.788M H800 GPU 小时，展现出显著的经济效益和训练稳定性。

关键数据

• DeepSeek-V3 的参数总量为 6710 亿，每个标记激活参数量为 370 亿。
• 预训练过程使用了 14.8 万亿个标记，训练成本为 2664K GPU 小时。
• 上下文长度扩展后，模型能够处理长达 128K 的输入。
• 训练后阶段包括监督微调和强化学习，进一步提升了模型性能。

研究结论

• DeepSeek-V3 是目前最强的开源基础模型，在代码和数学方面表现突出。
• 模型在多个标准及开放式基准测试中实现了与领先闭源模型（包括 GPT-4o 和 Claude-3.5-Sonnet）相当的性能。
• DeepSeek-V3 的训练成本相对经济，展现出良好的经济效益和训练稳定性。