冷板液冷服务器设计白皮书

版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 编写组 项目经理： 董少杰中移动信息技术有限公司 工作组长： 王峰中国电信股份有限公司研究院 贡献专家： 阮前中移动信息技术有限公司肖爱元中移动信息技术有限公司刘玲中移动信息技术有限公司许豪豪中移动信息技术有限公司孙翠锋中移动信息技术有限公司黄山中移动信息技术有限公司李圣义中移动信息技术有限公司高从文中移动信息技术有限公司曹原铭中国移动通信集团设计院有限公司雷鸣中国移动通信集团设计院有限公司刘芹中国移动通信集团设计院有限公司封铎中国移动通信集团设计院有限公司谢丽娜中国信息通信研究院(云大所数据中心团队)李宁东中国信息通信研究院(云大所数据中心团队)单彤超聚变数字技术有限公司张丙库超聚变数字技术有限公司苏金炎超聚变数字技术有限公司冯思渊超聚变数字技术有限公司 前言 本规范由开放数据中心标准推进委员会发布。 由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各位读者批评指正。如有意见或建议请联系编写组。 目录 一、引言........................................................................................................................................1 （一）非接触式液冷.............................................................................................................2（二）接触式液冷.................................................................................................................3（三）液冷技术对比.............................................................................................................4 三、冷板式液冷部件选择.............................................................................................................7 （一）冷却液.........................................................................................................................7（二）快接头.........................................................................................................................7（三）冷量分配单元（CDU）...............................................................................................8（四）冷板...........................................................................................................................10（五）服务器液冷管路.......................................................................................................11 四、液冷服务器要求..................................................................................................................12 （一）整机柜服务器的要求...............................................................................................121．通用算力整机柜服务器要求.................................................................................122．AI算力整机柜服务器要求....................................................................................143．整机柜设计要求.....................................................................................................16（二）单节点服务器的要求...............................................................................................19 （一）液冷三种交付模式及优劣势...................................................................................21（二）液冷机房配套要求...................................................................................................24（三）液冷运维与风冷运维的对比分析...........................................................................26 （一）超聚变金融领域液冷应用案例...............................................................................28（二）超聚变科教领域液冷应用案例...............................................................................28（三）浪潮金融领域液冷应用案例...................................................................................29（四）曙光互联网领域液冷应用案例...............................................................................29（五）曙光IDC领域液冷应用案例...................................................................................30（六）曙光气象领域液冷应用案例...................................................................................30（七）烽火科教领域液冷应用案例...................................................................................31（八）华为IDC领域液冷应用案例...................................................................................31（九）华为AI领域液冷应用案例.....................................................................................32 冷板液冷服务器设计白皮书 一、引言 随着我国数智化转型的逐步推进，在数智化中起决定性作用的算力对生活、服务、经济的影响越来越大。为了满足日益增长的算力需求，全国数据中心的规模也随之迅速增长。国家互联网信息办公室发布的《数字中国发展报告（2022年）》显示，截至2022年底，我国数据中心机架总规模已超过650万标准机架，近5年年均增速超过30%，在用数据中心算力总规模超180EFLOPS，位居世界第二。 数据中心及机架规模的快速增长，导致数据中心用电量急剧攀升。2021年全国数据中心耗电量达2166亿度，约占全国总耗电量的2.6%，碳排放量1.35亿吨，占全国总排放量的1.14%。为了降低数据中心能耗，助力实现双碳目标，政府鼓励重点行业利用绿色数据中心等新型技术实现节能降耗，要求全国新建大型、超大型数据中心平均电能利用效率（PUE）降到1.3以下，国家枢纽节点进一步降到1.25以下，绿色低碳等级达到4A级以上。 同时，随着服务器核心计算芯片的更新换代，服务器单芯片功耗将达到500~1000W，风冷散热能力有限，机柜空间剩余现象愈发明显。GPU服务器、高性能计算服务器等设备的发展及功率密度的增加对数据中心的制冷水平提出了更高的要求。另外，风扇作为IT设备主要散热部件，其功耗在IT设备总功耗中占比越来越高，反向提高数据中心整体PUE，与国家节能降耗政策要求相悖。 液冷技术通过用冷却液体替代传统空气散热，液体与服务器高效热交换，大幅提高服务器散热效率和业务系统可靠度，并且环境 适应性好，可以减少土地占用，因此逐步成为一种数据中心制冷新型解决方案。 二、液冷技术分类 传统风冷使用空气作为换热介质，液冷数据中心使用工质水或者氟化液等液体作为换热介质。由于密度、比热容和导热系数的差异，相同流量的液体相比空气散热能力最高可提升3500倍。 根据冷却液与发热源的接触方式，液冷技术可以分为非接触式液冷和接触式液冷两大类。 （一）非接触式液冷 非 接 触 式 液 冷 主 要 指 冷 板 式 液 冷 ， 将 服 务 器 发 热 元 件（CPU/GPU/DIMM等）贴近冷板，液体在冷板内流动，带走发热元件的热量，液体不与发热源直接接触，冷却液多采用去离子水。冷板式液冷原理如下图所示： 冷板式液冷换热热阻较大，相比传统风冷散热技术可实现60%～90%的能耗降低，数据中心PUE值能降至1.2左右，同时，可保持传统机柜方式部署，部署密度较高，对当前机房配套和服务器改造难度和成本较小。但由于其只对服务器中的高发热元件采用液冷散热，因此，仍需少量风扇对服务器中的非液冷元件进行风冷散热.另外，还需考虑液体泄露风险。 （二）接触式液冷 接触式液冷的液体与发热源直接接触，包括浸没式液冷和喷淋式液冷两种。 （1）浸没式液冷 浸没式液冷将服务器浸没在冷却液中，通过液体温升或相变带走服务器中所有发热元件的热量，液体与发热源直接接触，冷却液多采用矿物油、氟化液等不导电、非腐蚀性液体。浸没式液冷原理如下图所示： 浸没式液冷可完全去除散热风扇，换热能力强，节能效