核心观点与关键数据
- 幻方DeepSeek V3的技术突破：通过“数据蒸馏”技术，以约十分之一的算力实现OpenAI最新版本的数理推理能力，被称为大模型界的“PDD”。
- 数据蒸馏技术解析：类似于“做作业和抄作业”的结合，利用领先者的答案省略大部分探索过程，提升效率，类似经济上的“后发优势”。
- 中美AI水平对比：美国AI水平100分，中国90分，其他国家80分以下，数据蒸馏技术使得中国与美国差距可能缩小至半年到一年。
DeepSeek V3技术创新
- 模型架构创新：MLA和DeepSeekMoE，其中MLA是DeepSeek独创，MoE架构已为主流，但DeepSeekMoE颗粒度更细。
- 训练算法创新：FP8混合精度训练和Dualpipe，降低计算复杂度、提升GPU协同效率。
- 成本降低技术：
- MLA机制降低KV Cache大小。
- DeepSeekMoE架构降低Flops/参数开销。
- FP8混合精度训练降低Flops和显存占用。
- 蒸馏DeepSeek-R1推理能力降低后训练RL成本。
- MTP模块提升解码速度。
- P/D分离推理最大化系统计算效率。
算力需求分析
- 算力需求持续增长：尽管DeepSeek V3大幅降低成本，但算力需求依然持续增长，重心从预训练转向后训练和推理。
- 算力通缩与需求：单位token成本下降，但算力需求持续增长，技术演进周期交替，未来可能重拾对超大规模预训练的热情。
- 推理侧算力需求：AI应用和终端落地加速，推理侧算力需求远超训练侧，仅字节豆包未来可能需要50-100万张等效H100算力。
应用与市场影响
- 应用领域表现：DeepSeek在逻辑推理和代码生成领域具有特点，但在文本生成和数学计算方面与其他大模型相当。
- 算力需求误解：DeepSeek参数存在歧义，市场误读算力需求下降，实则技术创新降低了成本而非需求。
- AI应用发展：DeepSeek案例证明硬件有限情况下，通过算法优化仍可高效利用算力，推动AI应用快速发展，增强推理驱动算力需求增长。
预期差
- 国产算力性能和生态突破：市场关注国产算力性能和生态突破，以进一步推动AI应用发展。
