DeepSeek-V3 是 DeepSeek-AI 开发的 671B 参数的 Mixture-of-Experts (MoE) 语言模型，其中 37B 参数为每个 token 激活参数。模型采用 Multi-head Latent Attention (MLA) 架构实现高效推理，并使用 DeepSeekMoE 架构进行经济高效的训练。此外，DeepSeek-V3 创新性地采用了无辅助损失负载均衡策略和多 token 预测训练目标，进一步提升模型性能。
在训练方面，DeepSeek-V3 支持 FP8 混合精度训练，并通过 DualPipe 算法、高效的跨节点 all-to-all 通信内核以及内存占用优化等技术，实现了高效的训练过程。模型在 14.8 万亿个高质量、多样化的 token 上进行预训练，训练过程稳定，未出现任何不可恢复的损失峰值或需要回滚的情况。
在评估方面，DeepSeek-V3 在多个基准测试中表现出色，包括知识、代码、数学和推理等任务。模型在 MMLU、MMLU-Pro、GPQA 等教育基准测试中超越了所有其他开源模型，并在 SimpleQA 和 Chinese SimpleQA 等事实性基准测试中表现出色。在代码和数学相关任务中，DeepSeek-V3 在 LiveCodeBench、HumanEval 和 MATH-500 等基准测试中取得了最先进的性能。
在后续训练方面，DeepSeek-V3 通过监督微调和强化学习进行优化，并从 DeepSeek-R1 系列模型中提取推理能力，进一步提升模型性能。评估结果表明，DeepSeek-V3 在标准基准测试和开放式生成任务中均表现出与领先闭源模型相当的性能。
DeepSeek-V3 的训练成本经济高效，整个训练过程仅需要 2.788M H800 GPU 小时，总训练成本约为 550 万美元。模型的主要贡献包括创新的负载均衡策略和训练目标、高效的训练方法以及从 DeepSeek-R1 中提取推理能力的技术。
尽管 DeepSeek-V3 表现出色，但仍存在一些局限性，例如部署单元较大，可能对小型团队造成负担。未来，DeepSeek-AI 将继续研究和改进模型架构，提升训练和推理效率，并探索更全面的模型评估方法。
