arXiv-DeepSeekV3 技术报告

核心观点

• 模型架构: DeepSeek-V3 是一个 671B 参数的混合专家（MoE）语言模型，采用多头潜在注意力（MLA）和 DeepSeekMoE 架构，并引入了无辅助损失的负载平衡策略和多标记预测（MTP）训练目标，以实现高效推理和经济训练。
• 预训练: DeepSeek-V3 在 148 万亿个多样化和高质量的 token 上进行预训练，并进行了上下文长度扩展，达到 128K，展现出强大的性能。
• 后训练: DeepSeek-V3 通过监督微调和强化学习进行后训练，并从 DeepSeek-R1 系列模型中提炼推理能力，进一步提升其性能。
• 评估: DeepSeek-V3 在一系列基准测试中表现出色，特别是在代码和数学方面，其性能可与领先的闭源模型相媲美。
• 训练成本: DeepSeek-V3 的完整训练仅需 2.788M H800 GPU 小时，总训练成本为 557.6 万美元，展现出经济高效的训练优势。

关键数据

• 模型参数: 671B 参数，每个 token 激活 37B 参数。
• 预训练数据: 148 万亿个 token。
• 训练成本: 2.788M H800 GPU 小时，总成本 557.6 万美元。
• 基准测试性能: 在 MMLU、MMLU-Pro、GPQA 等基准测试中表现优于其他开源模型，并与 GPT-4o 和 Claude-3.5 等闭源模型相当。

研究结论

DeepSeek-V3 是一个性能强劲且经济高效的开源语言模型，在代码、数学和推理方面展现出领先水平，并缩小了与闭源模型之间的差距。其创新的架构、训练策略和基础设施优化，为开源模型的未来发展提供了新的方向。