英伟达GB200调研日3 – 散热

关键词 英伟达 GP200 供应链 散热 水冷 水泵 控制单元 价值量 数据中心 供应商 热交换器代工厂 份额 谷歌 B200 MI300 亚马逊 ODM 全文摘要 本次会议集中讨论了液冷技术在数据中心的应用前景和相关挑战，以及电子设备制造供应链管理中的关键技术进展和市场趋势。关于液冷技术，会议首先介绍了当前市场概况，特别强调了由于客户需求变化 和技术进步，未来预计会采用更先进的冷却技术。液冷解决方案的讨论涵盖了侧流式和液体对空气冷却 系统，强调了各系统的优缺点和适用场景。与此同时，讨论了散热解决方案的设计考量，包括如何优化 散热以提高数据中心效率和可靠性。关于供应链管理，明确了’稍等’或’FMEV’等先进技术部件的作用及 其面临的市场和成本挑战，同时提到了主要供应商如 Kramer 和 Astronics 等的市场份额和竞争地位。此 外，会议还探讨了冷却组件的市场趋势、成本变化及在高端数据中心的应用，重点分析了冷却系统的选 择和设计理念，以及它们对提升系统效能的作用。最后，讨论了冷却技术及供应链管理的核心议题，重 点关注了技术革新、成本控制和市场需求响应等方面。总体而言，会议内容综合反映了液冷技术和供应 链管理的最新动态，以及这两个领域在未来数据中心建设和运营中的重要性。 章节速览 ● 00：00 探索未来：液冷技术在数据中心的应用与挑战本次会议集中讨论了液冷技术在数 据中心中的应用前景和相关挑战。会议首先介绍了当前市场情况，特 别是客户对下一年度产品的需求预测，强调了产品性能的重要性。随后，重点转向液冷解决方案，包括 侧流式和液体对空气冷却系统的详细介绍，以及它们各自的工作原理和优势。会议指出，虽然液体对空 气冷却系统目前可能是主流选择，但随着客户需求的变化和技术的进步，预计未来将采用更先进的液体 对液体冷却技术。此外，会议强调了散热解决方案的设计和实施过程中的关键考虑因素，并探讨了如何 优化散热效果以提高数据中心的整体效率和可靠性。最后，讨论了供应商和客户之间关于散热技术和实 施方案的合作可能性，展现了液冷技术领域内合作与创新的重要性。 ● 05：03 探讨数据中心冷却系统及其挑战本次讨论聚焦于数据中心冷却系统的构成及其面临的关键挑战。首先，提出了’HX cluster’这一概念，被 认为是冷却系统中的关键组成部分，可能是指水冷排或换热器，用于移除设备产生的热量。此外，还介 绍了冷却系统内的其他重要组件，包括水泵和控制单元，它们共同作用以维持数据中心设备的正常运行 温度。进一步地，讨论了在高密度计算环境中使用侧裙（Sidecar）来增强冷却能力的问题，尤其是 在Nvlink高速连接的情况下，可能会需要两个或更多的侧裙来支持所需的容量。这表明，在设计和优化 数据中心冷却系统时，必须考虑到硬件配置的密度和性能需求，以及这些因素对冷却系统效能的影响。 ● 08：38 探讨液态空气冷却技术在数据中心中的应用及其成本这段对话主要讨论了液态空气冷却技术在数据中心服务器组件中的应用以及供应链情况。液冷系统的关 键组成部分包括：冷却模块、冷却单元（CU）、以及解决方案提供商。其中，冷却模块主要由CoolMaster提供，而冷却单元则可能是由Astronics等公司制造。此外，文中提到市场上的其他供应商 如Camelback、Blue Scientific等也在该领域寻求机会。对于采购策略而言，客户倾向于将冷却模块、冷 却单元及控制和显示单元（CDU）作为独立的组件进行采购。虽然采用一家供应商的整体解决方案具有 优势，但由于 Cooling Unit 对于运维和服务的要求较高，因此客户更偏好选择能提供专业技术和良好服 务的供应商。关于成本方面，文中大致估算了一个基于使用两颗GPU和一颗CPU的液冷系统的总成 本，约为6到7万美元，其中包括冷却模块、冷却单元和相关硬件与服务的成本。 ● 17：52 探讨电子设备供应链中的关键组件与代工厂选型本次讨论聚焦于电子设备制造供应链中的几个关键方面：首先，介绍了所谓的’稍等’或’FellyMore EnergyValue’（简称FMEV），这是一种旨在改善液体冷却系统性能的高科技零部件。其功能在于均衡 各冷却通道内的流量，从而提高整体系统的稳定性和效率。尽管该技术的潜在价值很高，但在实际应用 中面临了市场认可度和成本效益的挑战。其次，就主要供应商的市场份额而言，出现了Kramer、Abusive Crammers等公司的名称，其中Kramer被认为在液冷板及相关市场中占据了较大的份 额，并且获得了客户的广泛信任。然而，其他供应商如Variety则面临着品牌知名度和客户服务能力等方 面的考验。此外，还涉及到客户在选择代工厂时的关注点，提到了像广达和富士康这样的大型代工 厂，但并未提供具体的市场份额数据。整体上，此次讨论反映了电子设备供应链管理的复杂性以及对于 技术创新和合作伙伴选择的高度关注。 ● 22：50 探讨液冷技术在数据中心的应用与前景本次讨论重点围绕液冷技术在数据中心内的不同应用及其优势进行深入分析。首先介绍了服务器内部液 冷系统的构造及共享组件，随后详细阐述了液-液冷却系统的工作原理，该系统通过反式热交换器实现 高效热交换，显著提高能源利用效率，从而降低能耗。接着，讨论了液冷系统的成本效益问题，包括不 同冷却单元的价格差异以及它们在支持计算容量方面的性能差异。同时，还探讨了液冷系统中一次侧和 二次侧的冷却方式，及其对提高系统整体效能的影响。此外，此次对话还触及了液冷技术在现有数据中 心改造中的应用潜力，考虑到不同规模数据中心对于液冷技术的需求可能不同，预测了未来液冷技术在 数据中心领域的发展趋势和市场份额变化。最后，强调了液体冷却技术在促进数据中心绿色节能方面的 重要作用，并对未来液冷技术的应用和发展方向进行了展望。 ● 34：55 探讨数据中心冷却技术与供应链策略在讨论中，参与者深入分析了数据中心冷却技术的关键方面及供应链管理策略。首先，关于为何多个系 统选择单独采购而非整体解决方案的问题，解释了这种方法可能带来的更高的成本和责任分配上的复杂 性。其次，强调了统一的设计和制造流程的重要性，以及这对防止责任推诿、提高服务可靠性的积极影 响。接着，探讨了针对高热负荷芯片 （如H200、MI300）的直接冷却解决方案，并指出此类技术已经开 始应用于特定客户群，特别是在需要高性能计算的领域。此外，还涉及到未来供应链中供应商依赖度的 变化趋势，考虑到制造商是否有可能逐步实现内部化生产，从而减少对外部供应商的依赖。讨论触及了 从长远来看这可能对公司策略的重大意义，但也承认短期内技术沉淀和技术支持的挑战。最后，提出了 一些关于未来发展趋势的思考，尤其是在云计算和人工智能驱动的数据中心需求增长背景下，对冷却技 术和供应链优化的关注点。 ● 43：19 冷却组件市场趋势与数据中心技术讨论本次讨论主要围绕冷却组件的市场趋势、 成本变化及在高端数据中心的应用进行了深入分析。首先，关 于冷却组件的市场溢价现象，发言人表示目前并没有观察到显著的涨价情况，并提示需要进一步核实所 指的具体产品和供应商。接着，询问了一个关于NVLink 72液冷系统的性价比问题，通过计算得出每个 千瓦的成本约为24美元，包括了液体冷却单元的价值。此外，还提到了英伟达与酷冷大师合作开发循环 冷却系统的消息，旨在提供定制化的冷却解决方案，加快产品上市并提高数据中心的整体效率。对于不 同的冷却需求，讨论了CDA和Rackmount CDA之间的差异，指出前者适合大规模数据中心应用，而后者 则更适合小型部署或机架内部布局。最后，指出市场上存在两种类型的冷却单元选择，适用于不同规模 的数据中心设计，强调了合理规划和选择合适冷却解决方案的重要性。 ● 51：56 冷却技术与供应链动态：供应商策略与预期讨论集中在冷却技术及供应链管理上 ia的新技术和产品竞争力。着重分析了成本变动、市场需求响应及未来技术趋势，同时探讨了冷 却解决方案在提高系统效能中的作用。最后提出了对于特定技术毛利率的预测，并考虑了供应链中断的风险及其潜在的市场影响。 问答回顾 发言人 问：GB200订单的最新情况如何？ 发言人 答：目前GB200的订单量已达到7.5万台，NVO为36，并且报告中指出，英伟达的EPS模型已上调 至50美元，重申对英伟达的正面观点。 发言人 问：GB200设计的进展如何？ 发言人 答：目前GB200的设计已经经过了一版样品阶段和一次修改，接下来还会有一版微调设计，整体 处于样品验证阶段。 发言人 问：现在采用的散热方案是什么？liquid to air方案的工作原理是什么？ 发言人 答：目前采用的方案是side car式的liquid to air散热方案，对于新 建数据中心可能更多地考 虑liquid to liquid方案。liquid to air 方案中，CDU扮演master pump的角色，内部自带水冷排和风扇，通 过泵将水打到分水器并进入服务器水冷板，带走GPU、CPU和NB switch的热源，再通过CDU的水冷排和风扇将热能吹散至机房，最终通过空调系统散至机房外部。 发言人 问：HX在CDU中的含义是什么？liquid to liquid CDU中是否仍需 要HX设置？发言人 答：HX在CDU中指的是水冷排，是负责换热的核心部件之一，类似于汽车水箱的作用，通过风 带走水冷排中的热能。在liquid to liquid CDU中，同样存在水冷排等换热器设计，但使用的是板式热交换 器作为主要换热器类型。发言人 问：对于密集的NV link情况，可能需要多少个side car才能满足需求？发言人 答：在NV link密集的情况下，可能需要两台side car才能支持所需的容量，表明单台塞卡可能不 够强，需要双台配置。发言人 问：英伟达GB200设计中主要供应商有哪些？发言人答：目前在水冷版cooling book中，cool master是主要供应商，而在济南queenlook部 分，kulman aster是领先的厂商。此外，ABC也是领先厂商，但其他厂商情况目前尚不明朗，大家都会 争取客户的订单。发言人 问：在CDU和meaningful的供应厂商中，哪些厂商在品控和自身能力方面表现出色？发言人答：库伦master等厂商由于拥有特殊的设备和工艺，如大型焊剪辑、焊接工艺以及铅焊设备 等，能够在品控和自身能力方面做得比较好，因此受到客户青睐。发言人 问：客户在采购CDU相关部件时，倾向于分开采购还是解耦采购？发言人 答：目前，不管是NVDA还是CSP，如hyper scale的CSP，他们更倾向于分开采购不同的部件，比 如cookie loop、manifold和CDU，因为不同的产品有不同的擅长的厂商。发言人 问：如果客户选择分开采购CDU相关部件，如何确保系统压力和温度稳定性？发言人答：实际上，CDU与其他部件间没有特别需要的软体去让它们配套起来。客户只需要有一个固 定的stack，就能确保系统的稳定性。如果由同一家厂商来做所有东西，对客户来说有一定好处。发言人 问：CDU与其他组件相比，在服务能力方面有何特殊需求？发言人 答：CDU非常依赖服务能力，尤其是对于大部分CSP（除了Google以外）来说，水冷系统运维和 运维CDU是陌生的，因此他们更倾向于像Thirty、CoolLet、EVC外卖等具有技术服务团队的厂商来协助 部署和维护水冷系统。发言人 问：不同组件的价值量大概是多少？发言人答：以GP200为例，两块GPU再搭配一个CPU的价值约为三四百块钱一个路法；而一 根meaningful（如NVL72）的价值大概在3000美金左右；一台塞卡的CDU大约价值五六万美金。具体的 价值量需根据实际需求和配置来计算。发言人 问：稍等阀（Felly More Energy Value）是什么，它的作用是什么 ？ 发言人 答：稍等阀是一种控制流速稳定性的阀门，主要