行业研究公司研究宏观策略财报招股书会议纪要 Token 低空经济十五五 AIGC 大模型

AI深度洞察系列三scaleup与scaleout组网变化趋势如何看20240910

2024-09-10 未知机构张博卿

组网变化趋势分为两类：Skill up（单卡芯片性能提升）和Skill out（通用方案提升提取承载能力），其中Skill out是主要趋势，尤其体现在转换芯片环节的变化。
带宽持续提升是核心趋势：AI集群组网形态与产品性能和场景相关，主要分为训练和推理两类。训练场景对带宽要求更高，因此集群组网以分布式训练架构为主，包括数据并行、张量并行和流水线并行，其中张量并行对带宽需求最高。
节点规模扩大：英伟达采用通用范式架构，通过提升内部带宽（如从600GB到1800GB）和NVLink技术（如从8卡共享到单卡独享）实现节点规模扩大。谷歌采用TPU架构，通过自定义ASIC芯片和OCF光交换机实现节点规模扩大（如V4版本4096张卡到T4V5版本8960张卡）。
物理形态限制与解决方案：铜缆带宽受制于SerDes代际提升，当SerDes达到224G时，互联距离仅1米。解决方案包括物理补偿（如升级到光互联）和架构升级（如采用无收敛架构）。
以太网成为主流：无论是训练还是推理，未来趋势都将转向使用以太网。最大集群（如Meta 10万卡集群）已采用英伟达H100方案（400G交换机+800G光块），表明训练集群搭建无障碍。
交换机芯片升级：英伟达和博通将在明年推出10.2T交换机芯片，提升交换机端口数是关键。未来将采用框式交换机，通过多卡设计（如单卡512个端口）实现更高交换容量和端口数。
网络架构升级：为简化大规模集群架构，未来将采用无收敛架构，即使100万卡集群也压缩在三层架构内。框式交换机是关键，通过多卡设计提升端口数，提高网络调度效率。
光模块技术趋势：硅光将成为主流，从分立式到可插拔式，再到更高维度CPO。硅光效率和渗透率将高于800G一代，CPU时代对单通道速率要求相对较低，可追求更高带宽密度。
研究结论：Skill up和Skill out推动带宽持续提升，交换机单点升值。产业链将出现新机会，产品设计附加值增加。光模块需求与算力总需求成正比，硅光技术带来变化。