国联民生计算机 DeepSeek开源推理框架DeepInf

DeepInfer框架支持分布式推理、推测解码、结构化输出，兼容英伟达与华为昇腾平台，并开源生产级Token编解码组件deepseek-recipe。其核心设计目标在于兼容多种计算芯片、充分发挥平台性能，通过8卡机器做Prefill（EP/DP为2～8）和64～128卡超节点做Decode（EP/DP为64～128）实现高效部署。

AI推理服务行业正朝着高吞吐、低延迟方向发展，Token工厂成为重要商业模式。以DeepSeek为例，基于DeepInfer框架实现V4.1 Flash高吞吐、低延迟推理服务，单一集群吞吐达155万亿Tokens/天，收入每卡每小时38美金。国产AI芯片、超节点算力租赁/Token工厂等领域存在发展机遇。

本报告重点分析了DeepSeek开源推理框架DeepInfer的技术特性及其在Token工厂等推理服务中的应用价值。同时关注国产AI芯片（寒武纪、海光信息等）、超节点（浪潮信息、软通动力等）以及算力租赁/Token工厂（宏景科技、集智股份等）相关领域的发展情况。

当前AI算力市场呈现国产芯片加速替代、超节点算力需求增长的趋势。DeepInfer框架的部署案例展示了大规模集群在推理服务中的效能，但算力需求释放节奏存在不确定性，行业竞争也日趋激烈。

本报告提示算力需求释放节奏的不确定性，以及行业竞争加剧可能带来的挑战。具体而言，AI芯片和超节点的技术迭代速度较快，Token工厂等商业模式仍需市场验证，投资者需关注相关领域的动态变化。