AI互连系列报告（二）围绕CPU-外设及GPU-GPU两条主线探索当前超节点的柜内互连

全文总结

核心观点：
AI互联赛道是当前AI发展的增量环节，Scale Up及超节点相关互联是未来两三年内增速较快的领域。美股市场已涌现出两年十倍市值增长的公司（如ALAB），为投资提供了方向，预计该赛道将涌现更多十倍股。

什么是超节点及需求：
随着大模型训练及推理发展，模型参数和规模持续暴涨，单卡显存无法容纳完整大模型，计算任务被拆分到多颗GPU上完成。单一服务器机柜内加速卡数量从8卡向64、72、128卡等规模迈进，需要专用高速互联总线及交换芯片，将柜内所有GPU以高带宽、低延迟、全互联方式连接，实现显存统一编制。超节点并非简单堆砌计算硬件，而是将海量计算单元（CPU、GPU、TPU等）高效整合。高速传输技术（NVLink、华为灵衢UBLink、SUE）在GPU间搭建超宽车道，实现GPU间快速通信；CPU负责全局互联和调度，网卡、固态硬盘等外设提供基础支持。超节点以CPU和GPU为中心，构成CPU到外设和GPU到GPU两种基础互联：前者承担全局调度和指令下发，后者（Scale Up）是GPU之间的高效互联。当GPU数量继续增长无法保持全互联时，需通过Scale Out将多个超节点互联组成算力集群。

一、CPU到外设层级：

• PCIe仍是核心互联路径： 经PCIe Switch辅助，AI服务器可挂载更多外设资源。PCIe作为通用标准，具有广泛兼容性和成熟生态，在超节点时代仍是基础互联，决定计算托盘排布形式。所有GPU与CPU通信支持PCIe。
• 私有互联体系： 部分厂商（如英伟达）将CPU到GPU连接纳入自有体系（如NVLink C2C技术），实现CPU与GPU间高速低延迟传输（如Vera Rubin GPU与Grace CPU通过NVLink C2C连接，提供1.8TB一致性带宽）。但私有互联局限于厂商生态，适配范围窄。
• CXL技术依赖PCIe： CXL是面向异构计算内存池化的开放互联标准，基于PCIe 5.0物理层，叠加CXL协议。CXL设备复用PCIe物理连接器及通道规范，依赖PCIe基础设施实现硬件互联与产业化落地。

二、GPU到GPU层级（Scale Up）：

• 关键指标： 互联带宽和延迟（数据搬运速度和同步等待时间）、内存语义（任意卡像访问本地显存一样访问其他卡显存）。Scale Up协议及配套交换芯片决定超节点性能上限和生态绑定。
• 协议模式：
  • 私有协议： 英伟达NVLink、华为UB、AMD Infinity Fabric。
  • 开放标准： UALink、SUE，甚至PCIe也可用于Scale Up。

三、超节点的两种基本构建模式：

• 单级多平面交换拓扑： 如NVLink 72、AMD Helios，带一层专用高速交换芯片（NVSwitch、以太网Switch或UALink交换芯片），GPU全部接入该层，搭建多套独立平面叠加带宽。特点：单跳转发，延迟低，但端口和线缆数量随卡数增长快速增加，规模固定，难弹性扩容。
• 两级Clos架构： 包含Leaf节点和脊节点两层交换芯片。GPU先接入L1 Leaf，再通过L2脊交换芯片互联。典型如华为CloudMatrix 384，通过L1+L2两级交换实现384张NPU互联。特点：简化布线，支持更大规模超节点，但多一跳，延迟增加。

总结与投资观点：

• PCIe重要性： PCIe及配套交换芯片在CPU到外设层级地位稳固，未来CXL普及也依赖PCIe基础设施。PCIe Switch可承担Scale Up Switch作用，使用灵活。
• Scale Up架构选择： 单级多平面强调低延迟，但规模受限；两级Clos架构支持更大规模，但延迟增加。厂商选择由加速卡、超节点规模和Scale Up Switch决定。
• 投资看好： 随超节点形态确认和AI算力集群加速建设，AI互联板块将成AI产业第三增长极。看好卡位关键节点、占据先发优势的国产核心替代者，重点看好万通发展、澜起科技、盛科。