光模块&液冷专家交流纪要

问：GB200 在局域网连接中的光模块配比关系如何变化？答：无论是否考虑跨机柜互联，每个计算节点内 部的 GPU 和 1.6T 光模块配比关系保持不变，如采 用三层交换机，则 GPU 芯片和 1.6T 光模块数量比 例为 1 比 3。但在连接到数据中心局域网时，具体 数量关系仍取决于交换机构建层数，即 GPU 芯片 和 1.6T 光模块数量比例为 1：2 或 1：3。 问：在 GB200 整体系统互联方案中，光模块的占比及增长情况如何？答：光模块在 GB200 系统中的占比至少不会出现比例关系下降，而是稳中有增。其增长主要 来自于跨机柜互联需求，即在最终 GB200 出货中其占比的重要性。 问：光模块在 GB200 系统中的应用场景及潜在增长点是什么？ 答：GB200 系统中，光模块不仅解决了单机柜内高集成度方案的价值量和能力提升问题，而且 随 着 GB200 性能、功耗和性价比相较于前代产品有所改进，预期光模块配比会随着 GB200 出货量占比 提 升 而 增 长 。 如 果 GB200 系 列 中 BlackWel l GPU 的出货量占比提升，那么对光连接和铜连接来讲都是一个增量利好。问：1.6T 生态布局及交换机商用部署情况如何？ 答：Q3400 最新一代交换机明确提及 72 个 1.6T 端 口，意味着已开始向 1.6T 端口上量。同时，预计 Context 的 X800 交 换 机 和 以 太 网 的 spectrum X800 交换机明年通过生态合作伙伴开始交付，英 伟达 1.6T 交换机有望在明年开启整体交付。技术 层面，光口和电口的 1.6T 能力均已初步成熟。问：1.6T 网络加速落地对光模块和交换机产业的影响是什么？对于光模块和交换机产业链的投 资 观点是什么？答：率先参与到全球 1.6T 数据中心网络供应的光模块和交换机等硬件龙头企业有望率先受益 。预 计 2025 年 1.6T 网络有望实现加速落地。当前最新 观点认为，海外光模块产业链的头部个股在年报和一季报业绩确定性上明显优于成长性资产，建 议关注这些个股的逢低配置机会。尽管市场并未 显著上调明年光模块需求量和 GB200 主要方案中1.6T 光模块配比方案的预期，但从产 业层面和个股业绩上来看，仍存在上升空间。问：NVL72 系统采用了何种散热方式，以及该系统的性能表现如何？ 答：NVL72 系统采用了液冷散热方式。该系统披露的液体输入和输出温度分别为 25 度和 45 度，能 够 实 现 700 TFLOPs 的 AI 训 练 机 性 能 和 1440 TFLOPs 的推理性能。通过液冷散热方式提升散热 效率，实现高密度部署和高功率输出。 问：液冷散热相比风冷散热有哪些性能上的优势？ 答：液冷散热相比风冷散热，散热效率更高，对于优化数据中心能耗至关重要。随着数据中心PU E 要求的逐步降低，减少散热设备能耗变得愈发重要。液冷散热系统能够显著提高散热效率，从而降低数据中心能耗，适应于 PUE 趋严的趋势。问：液冷散热在数据中心中的优势有哪些？ 答：液冷散热通过液体直接吸收和带走 GPU 等算 力硬件产生的热量，相比于风冷具有更高的散 热 效率，可降低总能耗。目前市面上一些液冷服务 器 PUE 能够达到接近 1 的水平，有助于改善数据中 心整体能耗情况。此外，液冷方案在计算密度上 更具优势，并且无需预留大量空间给风扇，从而 允许高密度部署计算单元，减少占地面积，缩短 物理距离，降低信号传输延迟。问：液冷散热的不同方案有哪些，各自的特点是什么？液冷散热技术在数据中心发展趋势中的地位 如何？答：液冷散热包括浸没式液冷和冷板式液冷两种方案。冷板式液冷通过冷板将发热元器件的热量间 接传递给冷却液体，再由冷却液体带走热量；而浸没式液冷技术则是将液体作为传热介质，直接浸泡发热器件并实现热交换。此次英伟达的NVL72 方案采用了冷板式液冷。随着数据中心从低密度向高密度发展，液冷散热的优势将逐步显现。液冷散热作为一种散热效率更高的方式，能够提升算力部署密度、降低系统功耗，因此被视为传统风冷散热的替代选择，并且随着单机柜功率密度提高，液冷渗透率提升的趋势明显。英伟达首次推出采用液冷方案的机架级系统，预示着液冷技术 将成为行业发展的大趋势。问：哪些服务器厂商已经开始布局液冷技术并推出了相关产品？ 答：服务器厂商如联想、浪潮、紫光、曙光等早在几年前就开始积极拓展液冷产品线。联想发布 液冷技术正在逐步得到广泛应用。问：英伟达第五代 NV link 技术在 GPU 通信效率方面有何提升？ 答：英伟达第五代 NV link 技术相较于初代产品在 双向带宽上实现了翻倍增长，从 90 0GB 提高到 1.8TB。这种专用的 C2C 板片间互联技术有望显著 提升 GPU 之间的通信效率，进一步强化 AI 芯片集 群的整体计算性能。问：NV switch 如何解决 NV link 在初代架构中无法实现完全点对点连接的问 题？答：在 V100 架构中，英伟达引入了基于 NV link的高级通信能力，构建了 NV switch 芯片，实现了节点间拓展 NV link 连接，从而使得 GPU 集群连接更高效、高性能。新一代 NV link switch 系统 最 多 可 连 接 576块 GPU ， 总 带 宽 最 高 可 达 1PB/s。问：NV link 5.0 技术在 GB200 芯片组网方案中的应用情况如何？ 答：在 GB200 芯片组网方案中，通过 NV link 5.0高速协议实现 3.6TB 聚合带宽，提升了对于 AI 计算场景中显存需求较高的性能表现。相较于上一代 4.0 版本，最多连接集群数量已从 256 个提升至 576 个。问：英伟达在板间互联（B2B）领域有何升级举措？ 答：英伟达发布了 X800 系列交换机及新一代网卡Connect-X8 ， 这 些 产 品 基 于 全 新 的 平 台 ， 如 Q3400 系列交换机，可实现 144 个 800Gbps 端口配置，等效分配为 72 个 1.6TB 端口，端口速率相比之前的产品有了大幅升级。问：CX8 网卡在数据中心网络升级中的作用是什么？ 答：在 GTC 大会中，同步配套的 CX8 网卡从 CX7 的 400G 速率升级到 80 0G 整体速率，预计在 25 年 数据中心内部网络部署方案中将带来确定性加速放量，这主要得益于 B2B 网络产品端的升级。问：GB200 整体组网方案是否可简单用“光进铜退”定义？ 答 ： 不 能 简 单 用 光 进 铜 退 或 光 退 铜 进 来 定 义 GB200 整体组网方案，因为这隐含了光互联总量之间形成严格替代关系的假设，忽略了需求量 之间的替代关系及总量可能的增长演进。 问：GB200 的 NVL72 组网方案如何构成及连接方式？ 答：NVL72 组网方案中，每个机柜包含 18 个计算节点、9 台 NV Switchtree，18 个计算节点内每节点 2 片 GB200 芯片，共 4 块 BlackWell GPU 和 2块 CPU。每个计算节点内还配置了 4 颗 CX8 800G网卡。机柜内部计算节点与 NV switch 主要使用铜缆实现互联，而非光模块。问：英伟达对 GB200 和 GH200 销售策略有何转变？ 答：英伟达销售策略由强调通过连接多颗 GPU 实 现高性能组合转变为突出单机柜 72 颗 GPU 的性能 升级，并可能以单机柜的形式作为主打销售方案。同时，基于 NV link 5.0 版本，最多可实现576 片 GPU 互联，但在当前官网信息中并未详细说明如何实现跨机柜的 576 颗 GPU 互联。