DeepSeek 在训练和推理成本上的显著优势,对英伟达股价及 AI 产业产生了深远影响。
核心观点与关键数据:
-
DeepSeek 成本优势:
- 推理成本:每百万 Token 的输入成本仅为 1 元。
- 训练成本:使用约 2000 张 H800 GPU,总成本不超过 600 万美元。
- 预训练阶段:每万亿 Token 使用 2048 个 H800 GPU 集群,耗时约 3.7 天。
- 整个预训练过程耗时 2788K GPU 小时(不到两个月)。
- 按照 H800 每小时 2 美元的租赁价格计算,总成本不超过 600 万美元。
-
推理成本对比:
- OpenAI 的 o1 模型:每百万输入 Token 15 美元,输出 Token 60 美元。
- DeepSeek 的 R1 模型:相同输入和输出下的价格仅为 OpenAI 的 3%。
DeepSeek 的低成本训练策略:
- 采用纯强化学习(RL)训练,摒弃 RLHF 中的人类反馈(HF)部分。
- 使用链式思考(CoT)数据进行微调,提升模型的语言生成质量。
- 通过数千次强化学习训练步骤,R1 模型在推理基准测试中表现与 OpenAI 的 o1-0912 模型相当。
对 AI 产业的影响:
-
对依赖自研大模型的公司影响更大:
- OpenAI、Anthropic、月之暗面、字节跳动等公司可能受影响更大。
- Meta 已成立四个研究小组分析 DeepSeek 技术,计划应用于 Llama 模型优化。
- Llama V3 对 Llama 的开源模型地位构成挑战。
-
对英伟达的长期影响:
- 英伟达高端芯片仍将是 AI 科技企业的核心需求。
- DeepSeek 的成果证明市场对英伟达芯片的需求增加。
- AI 商业化加速将推动对算力的需求增长,符合杰文斯悖论。
-
算力需求展望:
- 即使模型训练效率提升,算力需求仍可能增加。
- 中小企业、个人用户对推理需求的增长可能超过 AI 巨头减少的 GPU 采购量。
- 推理环节对算力的消耗更为惊人。
研究结论:
- DeepSeek 的低成本模式短期内对英伟达股价造成冲击,但长期来看,AI 技术普及和商业化加速将推动英伟达芯片需求进一步增长。
- AI 产业将迈向新的发展阶段,算力需求将持续扩大。