猜你想问
DeepSeek开源DeepInfer推理框架的核心内容是什么？
DeepSeek开源了大规模推理框架DeepInfer及生产级Token编解码组件deepseek-recipe，分享了V4.1 Flash线上部署经验，并承诺未来新模型推理代码及优化持续开源。该框架基于DeepInfer的V4.1 Flash单集群日服务吞吐达155万亿Token，平均首字时延约400毫秒，吐字速度约230 Token/秒，平均每卡每小时收入约38美元，显著提升算力利用效率，改善AI服务供给能力。
AI推理赛道的发展趋势如何？
AI推理赛道正朝着大规模、高效率、低成本方向发展。DeepSeek开源DeepInfer推理框架及组件，推动算力利用效率提升和AI服务供给能力改善，降低规模化部署门槛。未来，随着模型能力和推理效率迭代，将促进AI应用需求释放，推动国产算力、云服务及私有化场景部署。硬件适配和API对齐进一步降低算力选择门槛和应用迁移工作。
本报告重点分析了哪些方向？
本报告重点分析了DeepSeek开源DeepInfer推理框架的大规模线上运行表现、缓存复用与计算优化协同降本、兼容昇腾与API协议对齐三个方向。其中，大规模线上运行表现基于DeepInfer的V4.1 Flash单集群日服务吞吐达155万亿Token，缓存复用与计算优化协同降本使平均输入缓存命中率96%，兼容昇腾与API协议对齐支持英伟达SM100 GPU及华为昇腾950 NPU，并支持主流API格式。
当前AI推理市场的现状如何？
当前AI推理市场正经历技术快速迭代和应用场景不断拓展的阶段。DeepSeek开源DeepInfer推理框架及组件，提升了算力利用效率，改善了AI服务供给能力，推动国产算力、云服务及私有化场景部署。随着开源从模型、算子库延伸至推理框架与API适配，规模化部署门槛降低，单位算力服务能力提升，市场正朝着更高效、更经济、更开放的方向发展。
本报告提示哪些风险？
本报告提示的风险包括：社区复现性能与成本可能存在差异，昇腾平台实测及商业落地效果有待观察，新模型适配完善需要持续投入。此外，AI推理技术的快速迭代可能带来现有方案兼容性挑战，算力资源竞争加剧可能影响服务成本控制，API协议对齐的长期稳定性需持续关注。