超节点服务器行业20260721

会议时间：7月21日 参会人：无 一、超节点的本质：从Scale-out走向Scale-up，瓶颈由算力转向内存墙 Scale-up与Scale-out的分工重塑算力系统 •Scale-out=增加节点数量，对应"增加货轮数量"，过去主流的万卡/十万卡集群属此类。•Scale-up=把单节点做强，对应"建造更大货轮"，通过极高带宽、极低时延把数十至数百张卡连成更大计算单元。•Scale-up解决单计算域协同效率，延迟已达纳秒级、带宽以TB/s计；Scale-out仍为节点间消息传递模式，延迟更高、软件协调更复杂。 大模型瓶颈转向内存带宽与数据供给 •GPU算力快速增长，但显存容量、带宽、芯片间传输已跟不上GPU发展，构成"内存墙"。•Scale-up让多颗GPU在软件看来像访问同一颗超级CPU的内存，采用接近内存访问的通信语义。•超节点需重构内存、互联、交换与系统软件，而非简单把更多卡塞进机柜。 竞争单元从单芯片升维至系统 •衡量标准已从单颗GPUTOPS转向GPU+CPU+HBM+互联+机柜+供电+冷却的整栈能力。•芯片层面三大趋势：计算裸片从单颗走向多裸片；HBM容量与带宽快速提升；单封装功耗持续上行，使先进封装、HBM、散热、供电、高速互联成为性能兑现约束。•服务器层级从Hopper八卡→BlackwellNVL72→Rubin更大规模互联，GPU数量、裸片数量、聚合显存、带宽呈数倍级增长。 二、英伟达路线：NVLink+NVSwitch构筑核心护城河 NVLink是英伟达超节点核心壁垒 •一方面持续提高单链路速率，另一方面增加每颗GPU的链路数量，并通过NVSwitch组织成可扩展交换网络。•从Hopper到Blackwell，每颗GPU双向总带宽提升至约1.8TB/s，预计Rubin将进一步翻倍。•超节点能否做大，关键在于交换芯片能否在更大规模下维持低时延、近乎无阻塞的通信。 读数需注意三类口径变化 •稀疏算力通常高于密集算力，不能直接横向比较。•英伟达常用双向带宽（发送+接收），单向能力并未同样翻倍。•Rubin之后更多按裸片而非物理封装计数，需关注统计口径与性能、吞吐、功耗、成本等系统指标。 从安培到Hopper：奠定八卡范式 •安培架构下，TensorCore负责AI计算、MIG提高资源利用率、NVLink+HBM解决数据供给。•Hopper针对Transformer优化，把HBM容量从约80GB提升到140GB以上，带宽同步增长；Scale-up主要发生在单台服务器内部，仍以八卡服务器为主。 八卡时代的互联结构与增量来源 •早期网状拓扑GPU直接拉线，规模扩大后链路与调度复杂化。•英伟达采用Clos架构，把通信压力交给NVSwitch，GPU通过交换芯片实现近无阻塞全互联。•八卡服务器GPU与NVSwitch位于同一HGX基板，Scale-up高速信号主要走PCB，机内高速铜缆/连接器用量有限；Scale-out通过网卡、交换机、光模块完成。 BlackwellNVL72：进入整柜级商业化超节点 •GB200NVL72将72颗B200GPU放入一个机柜，通过18颗NVSwitch实现全互联。•由18个ComputeTray（每个托盘含4颗B200）与9个SwitchTray组成，所有GPU同处一个NVLinkScale-Up域，软件可将整柜视为一个超大计算单元。•CPU、GPU、内存一体化设计，交付模式从单卡/单服务器升级为整柜系统，服务器厂商需承担互联、供电、液冷机架、系统调优等全部交付。 NVL72相比八卡的两类确定工程增量 •功耗密度：传统八卡服务器单机约10kW、单机柜约40kW；NVL72整柜功耗120kW以上，液冷、高压供电、配电成为必选。•铜连接：GPU与NVSwitch分散于不同托盘，需通过背部高速铜缆连接，仅Scale-up链路就可能超过5000条，单位机柜高速连接价值量提升至少一个数量级。 NVL72网络拓扑与核心环节 •NVL72未改变Clos基本思路，仍为一层交换结构。•NVSwitch能力更强、已从服务器内部迁移至独立SwitchTray，GPU与交换芯片走线从PCB变为铜缆。•核心增量环节：交换芯片、铜缆、连接器、液冷、整机柜集成。 Rubin与RubinUltra：I/O解耦与封装级整合 •强化多裸片、HBM与自研CPU，并将高速接口从计算裸片中解耦出来，释放晶圆面积给计算、提升互联灵活性。•RubinUltra将4颗计算裸片+I/O芯片+16堆HBM4E放入超大封装，目标接近1TB封装内存。•单封装功耗向数千瓦级演进，散热、封装、供电可靠性成为关键约束，竞争焦点转向全栈工程化能力。 从NVL72到下一代：交付形态进一步解耦 •当前NVL72为"一柜一体"，GPU与NVSwitch通过柜内铜缆连接。•下一代将采用垂直刀片+更高密度设计，把电源、冷却、部分网络功能外置，形成单纯计算柜+基础设施机柜。•未来交付单位可能从单机柜演进为"一组协同机柜"，交付难度进一步上升；演进方向包括铜缆→PCB背板、托盘→刀片、电源冷却→外置资源池。 三、国产超节点：协议多元、华为率先规模化落地 国产超节点需首先回答协议选型问题 •第一类闭源协议：英伟达NVLink、华为灵溪、海光HiLink，软硬件深度协同、性能可控，但生态封闭。•第二类PCIe改造方案：如UALink，门槛低、传输效率高，但大规模扩展时面临规模、功耗、生态兼容的平衡。•第三类以太网衍生Scale-up方案：如SUE，交换芯片与供应链更开放、CSP设计权大；国内云厂商更易适配多款AI芯片混用现状，可能成为更重要选择。•PCIe类比"马路直连"，协议简单、占用AI芯片接口面积小；以太网类比"快递打包-交换-恢复"，主机端复杂但交换机运维与供应链成熟。 国产格局判断 •拥有强自研芯片与软件生态的厂商倾向自建闭源互联；需兼容多款AI芯片的CSP倾向PCIe与以太网。•随国产交换芯片成熟，以太网交换芯片供应商将从海外单一来源走向多元化，构成国产交换芯片核心机会。•闭源协议服务头部芯片平台、开放协议服务多芯片/CSP自研场景，两者大概率共存而非零和。 华为方案：384颗昇腾910C组成跨柜超节点 •由384颗昇腾910CNPU组成，包含12个计算柜+4个交换柜，共16个柜构成核心系统；每个计算柜含4个八卡计算节点。•之所以仍称为超节点，在于384颗NPU处于统一Scale-up互联域，跨节点通信带宽与时延损失被控制在很低水平。•采用两层灵溪互联：L1在计算节点内部通过正交插接+背板连接8颗NPU；L2通过独立交换柜+光链路负责节点间互联，通信设备领域的正交设计被迁移至AI超节点。•节点内通信仅"一跳"，跨节点通信经L1+L2共"两跳"，节点间带宽衰减低于3%、额外延迟低于1微秒。 华为与英伟达的关键差异：铜vs光 •NVL72Scale-up主要用铜；华为跨柜L2大量使用光。•384颗NPU对应5000只以上400G光模块，单NPU对应约14只，光模块从Scale-out网络进一步进入节点内部（"光入机柜"），显著提升单卡光连接价值量。•摊到每颗NPU的Scale-up网络成本与NVL72已接近，扩大同一层级超节点规模并不必然提高单卡网络成本。 国产算力的策略：系统级工程弥补单芯片差距 •昇腾910C单卡算力、HBM带宽、交换芯片带宽低于GB200，但扩展到384卡后，系统总算力、显存容量、聚合带宽反更高，代价是功耗更大、单算力能效落后。•国产竞争焦点已从单卡对标转向整机系统、真实业务效率（如推理成本）等指标。 推理场景下超节点的软件协同价值 •推理分为Prefill（计算密集）与Decode（受显存带宽限制）两类，最优硬件与调度不同，推动PD分离。•超节点规模越大，越易在同一计算域内灵活配置两类资源，减少跨集群数据搬运。•对DeepSeek类MoE模型，可在Prefill阶段采用较小EP32（侧重计算），Decode阶段采用更大EP320（侧重内存与通信），单台384卡超节点可同时部署多组Prefill与Decode实例。 下一代：950Pod将Scale-up扩展至8192卡 •计划将Scale-up域扩展至8192张卡，采用正交架构+柜间全光互联。•分层扩展：64颗NPU在rack内紧密互联→16个rack组成1024卡Pod→Pod间通过更高层交换连接，把高频通信留在局部以降低全互联成本。 海光+曙光路线：高密度正交+相变液冷+箱式部署 •曙光整合高密度正交架构、刀片设计、浸没相变液冷、高压直流供电，单柜搭载大量海光DCU并可扩展至更大集群。•后续推广的四零采用标准箱式、无线缆正交互联，强调部署效率。•不完全追求英伟达式单柜形态，而是通过芯片、交换、冷却、交付协同，把国产卡更快变成可部署算力产品。 中兴、阿里等CSP自研路线 •中兴采用无背板正交结构：前端16个计算节点+后端8个交换节点直接对插，约64张GPU，体现通信设备经验切入AI超节点的路径。 •阿里采用无中继背板正交设计，CPU与GPU不固定封装在同一计算Tray中，做模块化分离，可适配不同厂商AI芯片并调整CPU/GPU比例，降低国产芯片导入难度、避免被单款芯片锁定。•阿里128卡拆分为两个64卡Scale-up域，每组由计算节点+交换节点组成，交换侧需51.2T级高速芯片；与腾讯、字节、百度方案共性强。 四、增量环节：服务器、交换芯片、铜连接三条主线 服务器：收入端明确，利润率有望提升 •随下游资本开支上行，服务器收入有明确表现，超节点也将带动该环节利润率提升。•后续芯片多元化后，厂商将逐渐收敛，浪潮信息、中科曙光、华勤技术、紫光股份等值得核心关注。 交换芯片：纯增量赛道，弹性大 •国内供应商较少；随51.2T及更高速率产品成熟，本土厂商不仅有Scale-out替代机会，还有望进入Scale-up这一纯增量市场。•验证周期较长，但边际变化出现时弹性较大。 铜连接：链路数量、速率、可靠性同步提升 •NVL72把GPU与NVSwitch分散在不同托盘，Scale-up链路必须走机柜背部，高速铜缆与连接器从几乎为零变为大量应用到每个机柜。•连接环节价值量来自链路数量、速率、可靠性的同步提升；但需注意下一代英伟达可能回归PCB背板与刀片式插接，铜连接技术形态或随机柜架构变化。 其他关键变化提示 •正交连接器与整机工程能力是国产超节点重要壁垒，机械精度、连接器可靠性、液冷盲插等维护成本随密度上升而提高。 •国产机柜形态从传统非正交（前后同向+背板）→伪正交（前后垂直+中间背板）→无背板正交（计算板与交换板直接对插），信号路径越短、密度越高、对工程能力要求也越高。