1. 背景介绍
全球数字化加速,算力需求呈指数级增长,推动数据中心架构升级。智算网络高速互连技术需兼顾灵活性、高效能和安装维护友好性。
2. 吉瓦级智算中心高速互连网络
超节点通过Scale-up架构提升单节点内卡间互连带宽,降低时延,突破大规模AI计算的通信瓶颈。其组网架构通常采用“Scale-up+Scale-out”混合模式。
2.1 超节点高速互连硬件架构
传统铜互连架构局限性凸显,正逐步向线缆背板CableTray架构、无中板正交架构、NPO与CPO架构演进。不同架构的通道速率呈现各自的演进路径。
2.2 计算节点高速互连
AI大模型对性能与算力密度极致追求,铜互连技术面临挑战。行业提出高密度大通道线缆组件、近封装铜互连(NPC)、近封装光互连(NPO)等技术方案。
2.3 交换节点高速互连
高性能交换机需求推动以太网交换芯片发展,单芯片带宽由25.6Tbps向102.4Tbps演进。铜互连面临挑战,新一代互连技术包括铜互连进阶(NPC/CPC)和光互连跃迁(NPO/CPO)。
2.4 柜内节点间高速互连
整机柜架构从传统PCB背板架构向有中板正交架构、线缆背板CableTray架构、无中板正交架构方向演进。
2.4.1 线缆背板CableTray架构
采用铜缆模组替代传统PCB背板,支持板卡多方向扩展,实现高密度、大规模互连,支持多种GPU芯片兼容应用。
2.4.2 有中板正交架构
利用中置PCB背板实现前后板卡正交互连,支持多通道并行传输,信号路径优化。
2.4.3 无中板正交架构
取消中置PCB背板,采用直接正交连接器实现板卡互连,具备极强扩展性、超大交换容量、极低的信号衰减、无中置背板。
2.5 机柜到机柜间互连
为实现更大规模的设备组网,交换机及光模块的速率正同步快速提升。
2.5.1 铜互连方案演进
包括DAC直连铜缆、背板连接器直连铜缆、ACC(有源铜缆)和AEC(有源电气铜缆)。
2.5.2 光互连方案演进
包括AOC(有源光缆)、可插拔光模块(PluggableOpticalModules)、NPO近封装光互连及CPO共封装光互连。
3. 互连技术实现路径
SerDes技术已从早期的28Gbps演进至当前的224Gbps。
3.1 端接形式:Press-fit/SMT/BGA/LGA
连接器端接工艺持续演进,向微型化设计,以保障大带宽场景下严苛的阻抗连续性。
3.2 高速连接器
3.2.1 高速背板连接器
主流56Gbps至224Gbps系列连接器的差分对间距(Pitch)、典型差分节点及差分对数量配置。
3.2.2 内部高速I/O
主要涵盖NPC、CPC等类型,当前主流传输速率对应PCIe5.0至PCIe7.0标准。
3.2.3 外部高速I/O
实现跨节点与跨柜间的高速互连,可挑选标准类型线缆(QSFP、OSFP-DD等)或是定制化类型背板连接器线缆。
3.3 高速PCB板材
高速PCB板材的损耗要求,按照不同速率的信号链路需求如下。
3.4 高速RawCable
高速裸线需进一步微缩尺寸并优化SDD21(插入损耗)性能,设计上主要通过选用Dk(介电常数)与Df(损耗因子)更低的绝缘材料。
4. 下一代互连技术路径展望
吉瓦级智算中心互连面临高带宽、低时延、低成本的刚性需求。当前互连技术路径主要分为铜互连与光互连两大技术方向。
4.1 铜互连
448Gbps技术路径涵盖板端连接器、背板线缆、ACC/AEC有源铜缆及CPC共封装铜缆等。CPC技术凭借多重优势成为焦点。
4.2 光互连
448Gbps技术路径主要包括可插拔光模块、NPO近封装光互连及CPO共封装光互连。CPO技术极大地提升了互连带宽密度并能够显著降低系统误码率和设备功耗。
预计在未来更高传输速率的时代,“光铜并存、优势互补”将成为长期且稳定的产业格局。