Al算力中心液冷电话会20240617

全文摘要本次讨论集中关注数据中心的能源效率及其冷却技术，强调了能效在数据中心建设与运营中的重要性。讨论首先介绍了能效评价标准，如 PUE 及其在中国的要求，然后详细讨论了 数据中心冷却系统.包括风冷和液冷技术的适用场景、优缺点及成本效益分析。特别指出，液冷技术因具有高热密度适应性及精确散热能力而成为数据中心冷却的趋势，但其高成本 和技术挑战限制了其广泛应用。此外，讨论还涉及了液冷产业的分类、市场上的数据中心 冷源解决方案提供商以及服务器市场的现状。整个讨论突出了在数据中心设计时需平衡π 需求与基础设施投资之间的关系，旨在实现最优性价比。 章节速览数据中心能效与冷却技术探讨本次讨论集中在数据中心的能效及其冷却技术上。首先介绍了能效的评价标准，如 PUE 以 及国内对此的不同要求，强调了能效在数据中心建设和运营中的重要性。随后讨论了服务 器内的能耗分布，明确了 PUE 计算中的设备界限。进一步深入到数据中心冷却系统的探讨. 包括风冷和液冷技术的适用场景及优缺点，并对比了不同冷却方式下的成本和性能差异。最后.强调了在数据中心设计时，须综合考虑Ⅱ需求与基础设施投资之间的关系，以达到最优性价比。 液冷与风冷技术在数据中心的应用及其优缺点液冷技术在数据中心的造价约为每千瓦 2000 至3500 元人民币，相较于风冷，具有更高的 热密度适应性和更为精确的散热能力。特别指出，混合式液冷结合风冷、波冷 及冷板的方法可以有效提高散热效率并降低成本。对于静默模式的液冷系统.由于其高成本和技术挑 战.主要应用于高性能计算等领域。讨论还涉及了单项冷板和直接接触冷却 (Direct Cooled Chip)两种散热技术的优劣以及它们各自适用的场景。此外，提到 了通过采用相变材料和无性制冷剂来进一步提高散热效率的可能性。 高功率密度计算与冷却技术讨论了高功率密度计算的需求、直接芯片级冷板的优势与挑战以及商业项目的实施差异。特别强调了超算对于高功率密度的需求，以及英伟达采用的冷板式液冷方案和 OCP标准机 柜带来的行业影响。 单车价值与冷却系统细节探讨讨论涉及单车冷却系统的组成部分及其成本：冷板(约 2000 元)、静默模式(补液率高).以及 冷却液的价格和需求。强调了冷却系统的不同部分及其各自的价值量，同时指出了冷却液 对于冷板和静默模式的重要性及其不同的补液需求。 液冷产业三大分类及其厂商布局液冷产业可大致分为 T 延伸厂商、一级制冷供应商与上游零部件供应商三类。T 延伸厂商 如曙光数创、浪潮等提供液冷解决方案及相关设备.尽管其市场拓展尚处于初期阶段。一级 制冷供应商如森林英维特依托其在传统空调领域的技术积累，拓展至液冷业务，尤其擅长OEM 模式下的合作。上游零部件供应商则专注于生产液冷系统所需的各类部件，如高栏科 技的快接头、中航光电的产品等。随着液冷技术的应用日益广泛.各厂商在这一领域的布局 不断深化.展现出各自的发展特色和挑战。 探讨数据中心冷源解决方案与市场竞争市场上存在着不同的数据中心冷源解决方案提供商，如优维特等，它们各自凭借其技术储 备、解决方案的成熟度以及经验积累在市场上占据了一席之地。与其他竞争者相比，优维特在提供冷板及其他相关服务方面具有明显的优势.不仅因为其产品精密性高.也由于其能够 快速响应客户的定制需求，并拥有丰富的工程经验。此外，讨论还涉及到了全球市场.特别 是台湾供应链在数据中心领域的角色及其与大陆企业的合作模式，强调了大陆企业在数据 中心层面和技术解决方案方面的领先地位。最后，探讨了整机柜及配套设施的价 格范围，以及如何通过估算计算不同组件的价值来评估市场规模。 解析单向冷板及液冷系统价值与市场动态本次讨论重点在于单向冷板、液冷系统的构成以及其价值量拆解。冷板单价约为每千瓦 5000 至 6000 元人民币，适用于服务器内部。快接头价格大约在 300 至 500 元之间.其价格 受制于服务器的设计需求。全球市场上，产品的价格差异显著.与中国市场的价格相比约有 三倍之差，反映了国内外市场对于同种产品定价的不同考虑。冷板因其较高的加工工艺难度，如精密制造和水管布局，导致其单价较高。此外，探讨了液冷系统中的许多因素，例如材料选择和连接方式.以及它们各自对成本的影响。最后.提到了在国内液冷领域中，曙光 公司作为领先的供应商之一，拥有丰富的经验和市场份额.但也面临供应链和技术 创新方面的挑战。 国内外服务器市场格局及其供应商选择目前服务器市场分为两派：一派是以国家队和运营商为基础，侧重于国产算力的发展，主 要采用华为、海光等国产芯片生产的服务器，其中华为的产能大约能够满足 6 万台的需 求；另一派则是大型互联网公司.如 BAT 等，倾向于使用英伟达的解决方案，并通过国内厂 商进行 OEM 生产。此外，运营商市场采取开放设计策略，允许不同供应商参与竞争，但同 时也存在独家合作的情况。总体来说，市场格局既有国产品牌的强势地位，也体现了国际 大厂的技术影响力以及市场化竞争的态势。 问答环节： 现在产业界如何定义 IDC 的能效？ 发言人 2：在国内，能效的核心评价标准是 PUE，具体表现为北方及南方八个算力节点的新建数据中心 POE 值分别不超过 1.2 和 1.25。而对于非八大节点地区新建数据中心，POE 值应 不高于 1.3，并且各地可根据实际情况提出更为严格的差异化标准，例如北京要求POE 值低 于 1.15，同时要求数据中心在未来五年内实现百分百的碳中和。 风扇等设备功耗如何计入 PUE 预算？ 发言人 2：在计算 PUE 时，风扇功耗会被视为 T 设备的一部分并计入“分子”(即π设备总能 耗)。由于风扇位于服务器内部，无法从中解耦出来，因此服务器风扇功耗属于 π设备功耗的一部分，由 PUE 预算进行度量。 风冷冷板到相变冷却在何时何地会被采用？ 发言人 2：采用风冷冷板至相变冷却主要基于两方面因素：一是芯片最大散热设计值和空间 大小，如果空间较大且散热需求不高.可以采用风冷而非液冷；二是当单柜热量密度达到 40 千瓦以上时，通常建议采用冷板式液冷来更好地满足散热需求。此外，在特殊应用场景中. 如高密度 GPU服务器部署或超级计算机等领域，液冷会更常见。 不同制冷方式在数据中心造价上的对比及其选择依据是什么？ 发言人 2：虽然液冷相对于风冷来说造价较高，大约高出 25%-30%，但这部分成本在整体数据 中心造价中的比例已大大减少，因此并不是决定是否采用液冷的主要依据。实际上，制冷方式的选择更多取决于 Iπ解决方案，即购买何种类型的服务器.而非单纯考虑其性价比。当 前主流方案为冷板式液冷，其造价约比风冷高出 25%-30%每千瓦，而静默式液冷因其成本 高昂且产业链相对不成熟等原因并非首选。 静默模式相变与普通相变相比，在成本方面会有怎样的差距？ 发言人 2：相较于普通相变，静默模式相变的成本会高出大约 50%至 100%，因此它并不适用 于商用化的数据中心领域，而更多被用于国家超算等需要高性能运算且不强调 即时性的应用场景。 目前在国内液冷系统中，哪种解决方案更为常见，并且如何判断在何种情况下会选择新的 冷却技术？发言人 2：在国内，冷板式液冷应用较多，而在新技术如静默式液冷方面应用较少。选择哪 种冷却技术取决于单位热密度，特别是在 120 千瓦以上的高热负载时，单品式冷板因其产 业链成熟度较高及质量可控性更强成为优选方案。 对于单项式冷板和直接芯片级冷板这两种冷却方式，它们各自的优势与缺点是什么？ 发言人 2：单项式冷板虽具有良好的散热均匀性，但由于其浸没特性导致散热不均匀，可能 引发补充液体等问题并增大长期机械老化导致服务器损坏的风险。而直接芯片级冷板虽然 可以精确散热.解决了散热不均匀的问题，但在规模化使用时成本相对较高，主要应用于复 杂度较高的领域。 对干功率密度需求极高的超算系统，是否有可能像传统计算设备那样通过扩大机房面积或 增加机柜数量来缓解热量管理的压力？ 发言人 2：超算系统的 CPU 分布相对均匀.更适合采用沉浸式液冷方案，因为在较小面积内可以贴合更多芯片从而提高算力。而 GPU 这类发热不均匀的产品则需有针对性地采取不同散 热效率的技术集成.通常无法像常规计算设备那样简单地扩展机房规模或增加机柜数量来解 决热量管理问题。 OCP 架构是如何帮助快速部署业务的？ 发言人 2：OCP(Open Computing Project)是一个由 Facebook Meta 发起并被众多公司参与的全 球开放社区。其核心理念在于制定开放的标准规格，并确 保所有遵循该规格生产的服务器 都能互换使用。这样一来，在遇到大规模业务需求时，例如春运期间需要增加 11 万台服务 器集群的情况，通过使用 OCP 架构.企业能够迅速构建出符合需求的 Al 服务器集群，从而 满足快速上线业务的需求。 冷板式电脑内部是否存在有价值量较大的部分？ 发言人 2：冷板中的冷板本身具有一定的价值量，主要包括 CDU(冷却单元)、售卖易购和二手车管路以及外部干冷器等部件，这些组件的价格区间大致在 1000 至 2000 元左右.其中 CDU 占据较大份额。 冷板和静戮式服务器的组成及成本情况如何？ 发言人 2：冷板和静默式服务器的基本结构类似，但静默式服务器因挥发率高而需更频繁地 补充冷却液。冷板内的冷却液通常采用水加乙二醇混合物，成本较低；而静默式服务器则 需要额外购买浸泡液.每吨价值约为 30 多万，且每年可能需要进行约 10%-20%的 补液操作。 国内液冷服务器产业链的主要参与者及其角色是什么？ 发言人 2：在国内液冷服务器产业链中，主要分为三类参与者：T 厂家延伸部分(如曙光数 创、浪潮等).专业 level one 制冷供应商(如森海英维特、伊利康佳利读等)，以及上游零部件 供应商。T 厂家如曙光不仅提供自己的配套液冷方案，还服务于更多业务场景；专业制冷 供应商则凭借深厚的专业背景和市场需求熟知的优势.逐步开发出适用于冷板业 务的产品；上游零部件供应商则是产业链的重要环节，为其提供关键零配件支 持。 优维特公司的核心优势是什么？ 发言人 2：优维特公司的优势在于其成熟的解决方案成熟度和技术储备。由于冷板只是整个 系统的末端，并且搭配房间和冷源，优维特提供了多种冷源选择，例如双冷源、动态双冷源以及自相型多联等。此外，优维特拥有较多的研发人员和强大的定制化能力，能够快速 响应并满足客户需求，在处理水垢、管网渗漏、负压等问题上有丰富的工程经 验。 优维特与曙光信号的竞争态势如何？ 发言人 2：优维特与曙光信号存在一定程度的错位竞争，例如客户可能选用曙光的服务器并 配套曙光的冷板，但由于优维特的技术储备和市场份额.在高端定制化市场上与 其有所区别。 全球范围内，优维特与台湾供应链企业在数据中心制冷领域的竞争及合作关系如何？ 发言人 2：在全球范围内，优维特与台湾供应链如伟创、英业达等并非简单的竞争关系，而 是更为紧密的合作关系。台湾供应链企业在服务器交互界面等方面占据主导地位，提供高 端零部件.而优维特则主要负责数据中心层面的整体解决方案设计与制造。两者通过共同服 务终极用户——微软四大云厂商来实现各自的优势互补与业务拓展。 优维特当前业务边界模式以及整机柜的定价情况如何？ 发言人 2：优维特当前在 DP 系列中的边界模式逐渐模糊化.开始涉及整机柜交付.其中包含整 列组成部分。对于整 机柜的价格.根据初步估算大约在 4 万美元左右.但实际售价可能更高或更低.具体价格还需 结合实际情况判断。 对于冷板的价值量拆分时，能否查一下 GPU 上面贴的楼板以及焊接头的价值量？为何单向冷板的价值量远高于外部 cPu 和其他部件？ 发言人 2：没问题，冷板的价格大约是按每千瓦 5000 到 6000 块钱来算，而快接头的价格大 致在 300 到 500 块钱之间。这是因为冷板的加工工艺难度较高.且由于其不局限于服务器内 部使用.其单品价值量与常规