非摩尔补摩尔，CloudMatrix384 加速国产算力突破

非摩尔补摩尔，CloudMatrix384加速国产算力突破 [table_Authors]舒迪(分析师)段笑南(研究助理)021-38676666021-38676666 登记编号S0880521070002S0880124070028 本报告导读： CloudMatrix 384释放国产算力芯片性能，单卡运算效率超越H100，有望加速国产算力需求增长。 投资要点： CloudMatrix 384采用三项核心创新提高处理性能。根据《ServingLarge Language Models on Huawei CloudMatrix384》，CloudMatrix384将384个昇腾910C、192个鲲鹏CPU及其他硬件集成至统一的超节点。其核心创新包括（1）设计一种点对点服务架构，将预填充、解码和缓存解耦为可独立拓展的资源池。可通过UB网络实现高带宽、统一的缓存数据访问；（2）设计一种大规模专家并行策略，利用UB网络实现高效token分发和专家输出组合，可使每个NPU芯片托管一个专家，实现低解码延迟；（3）提出针对CloudMatrix384的硬件感知优化，主要包括高度优化的算子、基于微批次的流水线和INT8量化，提升运算效率和资源利用率。 Cloudmatrix 384有效提高推理效率，单NPU运算效率超越H100。根据《Serving Large Language Models onHuawei CloudMatrix384》，CloudMatrix-Infer单NPU在<50 ms TPOT条件下，可实现预填充吞吐量6688 tokens/s和解码吞吐量1943 tokens/s，分别对应预填充阶段4.45 token/s/TFLOPS的计算效率和解码阶段1.29 token/s/TFLOPS的计算效率，均超过H100基于SGLang的计算性能及H800基于Deepseek的计算性能。我们认为，CloudMatrix 384基于超节点架构与UB网络互连充分释放国产算力芯片性能，有效弥补国产算力在先进制程方面的不足，有望加速国产算力芯片应用场景突破。催化剂。国产算力集群架构升级迭代。 风险提示。CloudMatrix384实际使用效果不及预期。 本公司是本报告所述海光信息(688041),寒武纪-U(688256),中芯国际(688981)的做市券商。本报告系本公司分析师根据海光信息(688041),寒武纪-U(688256),中芯国际(688981)公开信息所做的独立判断。 本公司具有中国证监会核准的证券投资咨询业务资格 分析师声明 作者具有中国证券业协会授予的证券投资咨询执业资格或相当的专业胜任能力，保证报告所采用的数据均来自合规渠道，分析逻辑基于作者的职业理解，本报告清晰准确地反映了作者的研究观点，力求独立、客观和公正，结论不受任何第三方的授意或影响，特此声明。 免责声明 本报告仅供国泰海通证券股份有限公司（以下简称“本公司”）的客户使用。本公司不会因接收人收到本报告而视其为本公司的当然客户。本报告仅在相关法律许可的情况下发放，并仅为提供信息而发放，概不构成任何广告。 本报告的信息来源于已公开的资料，本公司对该等信息的准确性、完整性或可靠性不作任何保证。本报告所载的资料、意见及推测仅反映本公司于发布本报告当日的判断，本报告所指的证券或投资标的的价格、价值及投资收入可升可跌。过往表现不应作为日后的表现依据。在不同时期，本公司可发出与本报告所载资料、意见及推测不一致的报告。本公司不保证本报告所含信息保持在最新状态。同时，本公司对本报告所含信息可在不发出通知的情形下做出修改，投资者应当自行关注相应的更新或修改。 本报告中所指的投资及服务可能不适合个别客户，不构成客户私人咨询建议。在任何情况下，本报告中的信息或所表述的意见均不构成对任何人的投资建议。在任何情况下，本公司、本公司员工或者关联机构不承诺投资者一定获利，不与投资者分享投资收益，也不对任何人因使用本报告中的任何内容所引致的任何损失负任何责任。投资者务必注意，其据此做出的任何投资决策与本公司、本公司员工或者关联机构无关。 本公司利用信息隔离墙控制内部一个或多个领域、部门或关联机构之间的信息流动。因此，投资者应注意，在法律许可的情况下，本公司及其所属关联机构可能会持有报告中提到的公司所发行的证券或期权并进行证券或期权交易，也可能为这些公司提供或者争取提供投资银行、财务顾问或者金融产品等相关服务。在法律许可的情况下，本公司的员工可能担任本报告所提到的公司的董事。 市场有风险，投资需谨慎。投资者不应将本报告作为作出投资决策的唯一参考因素，亦不应认为本报告可以取代自己的判断。在决定投资前，如有需要，投资者务必向专业人士咨询并谨慎决策。 本报告版权仅为本公司所有，未经书面许可，任何机构和个人不得以任何形式翻版、复制、发表或引用。如征得本公司同意进行引用、刊发的，需在允许的范围内使用，并注明出处为“国泰海通证券研究”，且不得对本报告进行任何有悖原意的引用、删节和修改。 若本公司以外的其他机构（以下简称“该机构”）发送本报告，则由该机构独自为此发送行为负责。通过此途径获得本报告的投资者应自行联系该机构以要求获悉更详细信息或进而交易本报告中提及的证券。本报告不构成本公司向该机构之客户提供的投资建议，本公司、本公司员工或者关联机构亦不为该机构之客户因使用本报告或报告所载内容引起的任何损失承担任何责任。 评级说明 投资建议的比较标准 投资评级分为股票评级和行业评级。 以报告发布后的12个月内的市场表现为比较标准，报告发布日后的12个月内的公司股价（或行业指数）的涨跌幅相对同期的沪深300指数涨跌幅为基准。 国泰海通证券研究所 地址上海市黄浦区中山南路888号