行业研究公司研究宏观策略财报招股书会议纪要 Token 低空经济十五五 AIGC 大模型

计算机：蒸馏模型加速AI平权

信息技术 2025-02-07 陈涵泊,李佩京,王思德邦证券福肺尖

核心观点：2025年将是模型蒸馏技术爆发年，低成本、开源与蒸馏技术将大幅降低AI模型开发门槛，加速AI平权过程，并推动AI应用与端侧的爆发。
技术路径：
- 李飞飞团队通过监督微调（SFT）和“预算强制”技术，用不到50美元的云计算服务费用训练了AI推理模型s1。
- 构建了“s1K”数据集，包含1000个精心筛选的问题及推理轨迹，使用16张H100 GPU进行SFT训练26分钟。
测试结果：
- s1-32B在竞赛数学问题上表现较o1-preview高27%（MATH和AIME24）。
- s1在AIME24上的表现与Gemini 2.0 Thinking API相当。
开源与蒸馏进展：
- 深度求索开源推理模型DeepSeek-R1，并蒸馏出6个小模型，其中32B和70B模型对标OpenAI o1-mini。
研究结论：
- 蒸馏技术是推动模型小型化与商品化的重要手段，有望缩小开源与闭源模型性能差距。
- 2025年将是大模型普惠的起点，AI应用与端侧或将迎来成本下降与能力提升。
- 蒸馏技术支持下可能涌现更多高性价比小模型，推动模型从预训练向推理转变，国产算力有望迎来价值重估。
投资建议：
- 关注模型蒸馏（智信精密、拓尔思等）、AI应用（金山办公、泛微网络等）、AI端侧（云天励飞、乐鑫科技等）、AI算力（云天励飞、华丰科技等）。
风险提示：上游供应不及预期、下游AI产业落地速度不及预期、中游竞争格局加剧、国际局势风险、国内外宏观利率风险等。