DeepSeek-V4：迈向高效百万token上下文智能

核心观点

• DeepSeek-V4 系列包含 DeepSeek-V4-Pro 和 DeepSeek-V4-Flash 两个强大的 MoE 语言模型，参数量分别为 1.6T 和 284B，均支持百万级 token 的上下文长度。
• 该系列模型在架构和优化方面进行了多项升级，包括混合注意力架构、Manifold-Constrained Hyper-Connections (mHC) 和 Muon 优化器，以提升长上下文效率、建模能力和训练稳定性。
• DeepSeek-V4 系列在长上下文场景中表现出色，百万级 token 上下文设置下，DeepSeek-V4-Pro 的单 token 推理 FLOPs 和 KV 缓存分别仅为 DeepSeek-V3.2 的 27% 和 10%。
• DeepSeek-V4-Pro-Max 在核心任务中超越了其前身，成为开源模型中的领先者。
• DeepSeek-V4 系列采用了混合注意力架构、精度优化等手段，显著降低了推理 FLOPs 和 KV 缓存大小，尤其在长上下文设置中优势明显。
• DeepSeek-V4-Flash-Base 在参数量更小的前提下，在多数基准测试中超越了 DeepSeek-V3.2-Base，展现出更高效的架构设计。
• DeepSeek-V4-Pro-Base 在推理、编码、长上下文和世界知识任务中均达到了新的性能标准，成为 DeepSeek 基础模型中最强的模型。

关键数据

• DeepSeek-V4-Pro 参数量为 1.6T，激活参数为 49B。
• DeepSeek-V4-Flash 参数量为 284B，激活参数为 13B。
• DeepSeek-V4 系列预训练数据量超过 32T，包含数学、代码、网页、长文档等高质量内容。
• DeepSeek-V4-Pro-Max 在 SimpleQA 和 Chinese-SimpleQA 基准测试中显著优于其他开源模型。
• DeepSeek-V4-Pro-Max 在推理基准测试中表现优异，接近 GPT-5.4 和 Gemini-3.1-Pro 的水平。
• DeepSeek-V4-Pro-Max 在代码代理任务中表现优异，达到 Claude Opus 4.5 的水平。

研究结论

• DeepSeek-V4 系列通过架构创新和基础设施优化，实现了长上下文处理的高效率，为未来测试时扩展、长时任务和在线学习等研究奠定了基础。
• DeepSeek-V4-Pro-Max 成为开源模型中的领先者，在知识、推理、编码和长上下文能力方面均取得了显著成果。
• DeepSeek-V4-Flash-Max 在推理性能方面与领先闭源模型相当，同时保持了高度的成本效益。
• DeepSeek-V4 系列开启了百万级上下文的新时代，为大型语言模型的效率、规模和智能发展提供了新的方向。