ETH-X超节点AI整机柜设计规范

[编号ODCC-2024-03009] ETH-X超节点AI整机柜设计规范 版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 编写组 项目经理： 王小泉华勤技术股份有限公司 工作组长： 何泽坤深圳市腾讯计算机系统有限公司 贡献专家： 目录 版权声明.................................................I编写组..................................................II一、范围................................................1二、缩略语..............................................1（一）缩略语.........................................1三、整机柜设计规范......................................2（一）设计背景.......................................2（二）AIRack概述...................................4（三）HBD高速互联...................................5（四）112G高速信号链路插损分配.......................7（五）Powershelf....................................8（六）BusBAR........................................10（七）CableTray....................................11（八）整机架管理....................................12（九）整机柜液冷系统................................13（十）机柜外形尺寸..................................14（十一）SU定义.....................................15（十二）机柜俯视截面关键尺寸........................15（十三）节点外形尺寸................................15（十四）节点关键尺寸................................16（十五）助拔器关键信息..............................16 一、范围 本文件规定了ETH-X超节点整机柜的基本构成，机架机械结构尺寸、供电、散热、高速互联的实现方法；以及计算节点和交换节点的机械结构尺寸，并对机柜内部的液冷散热、供电规范和管理模块接口等做了设计要求。 本文件适用于向云计算服务商提供产品的服务器厂商做设计参考。 二、缩略语 （一）缩略语 下列缩略语适用于本文件。 三、整机柜设计规范 （一）设计背景 随着人工智能技术的飞速发展，特别是AI大模型的快速崛起，对计算资源的需求呈现出爆炸性增长。这些大模型，如深度学习神经网络，需要极高的算力来处理和训练庞大的数据集。然而，传统的单芯片性能提升已经接近物理极限，无法满足AI大模型对算力 的无限追求。此外，简单地通过增加服务器数量来扩展集群（ScaleOut策略）也遇到了可扩展性和效率的瓶颈。 在这样的背景下，ETH-X超节点以太网项目应运而生。该项目的目标是通过技术创新和行业协作，构建一个开放、可扩展的高带宽域（HBD）超节点系统样机，以探索AI算力提升的新途径，并支持构建ETH-X超节点互联的开放协作产业生态。 AIRack整机柜是ETH-X超节点实现的具体方式，具备高算力密度、高互联带宽、高功率密度和高能效等关键因素，为AI大模型提供所需的计算资源，推动AI技术的进一步发展和应用。 单个整机柜需要支持至少32计算节点及以上GPU-GPU的ScaleUp系统，以HBD超节点为单位，可以通过scale-up接口搭建更大规模高带宽域，还可以通过传统ScaleOut扩展方式可形成更大规模、更高效的算力集群。超节点ScaleUp的核心需求是超大带宽（HB）、更高的能效比和TCO。 （二）AIRack概述 设计目标： 1)RACK：46U-52U；2)节点：16个计算节点，8/12个交换节点；3)供电：4个POWERSHELF,BUSBAR供电，整机支持120KW+；4)散热：液冷为主，风冷为辅；5)计算节点：一个CPU搭配4GPU；6)交换节点：单个或多个SWITCH芯片；7)系统设计支持多家CPU/GPU/Switch/NIC芯片设计； 8)液冷接口，busbar，高速cable连接器均支持盲插。 （三）HBD高速互联 （四）112G高速信号链路插损分配 分配给每个节点的插损链路预算为最大值，系统设计应该优化分解，建议链路插损裕量保证大于3dB。 备注：OCPOAM子卡的方式会导致额外的4dB左右的插损，建议情况允许的条件下直接将GPU焊接在Carrierboard上。 （五）Powershelf 技术规格： 1)...外形尺寸：448mm*86.5mm*905mm；2)...220V或380VAC输入；3)...54VDC输出；4)...PSU支持10+2冗余； 5)...系统最大支持4个powershelf，最大功耗支持132KW，PSU数量可根据系统最大功耗按需配置； 6)...支持4个C13AC输出接口。整机技术特性： 1)...PWRshelf使用PSU自带的风扇散热； 2)...通过PWRCLIP输出DC54电源到Busbar为整机供电。 SMC功能： 54VDC输出连接器选型参考： 1)...AmphenolBarKlip®BK600； 2)...通流700A； 3)...接触阻抗0.05mΩ； 4)...遵循ORV3matinginterface。 AC输入连接器选型参考：Positronicconnector。 公头:SP10RSSS48M220A1/AA-226。 输入AC电缆母头参考：SP10RSSS1F0W01/AA-2372。 技术特性： 1)...Busbar安装于机柜上，为各节点提供电源； 2)...导体横截面积和长度可以根据系统最大功耗进行定制； 3)...接触界面遵循ORV3busbar规范； 4)...参考设计：长度：2.0m，导体横截面积425mm^2，通流1000A。 （七）CableTray 技术特性 1)...导线及高速连接器互连后组成CABLETRAY，为交换节点及计算节点提供互连; 2)...每台机柜配有2套背板总线，分置于Busbar左/右侧; 3)...Cabletray上的高速连接器设计有导向及浮动结构，确保与节点精确对位、连接；要求高速连接器在X/Y方向实现±1.8mm浮动，Z方向浮动±2mm； 4)...背板总线由线缆厂商连接、装配、测试完成后整体交付。 （八）整机架管理 整机柜内节点管理方案简介： 1)...整机柜采用48port_1G交换机做为Rack管理交换机； 2)...计算节点，交换节点分别通过网线与交换机连接； 3)...4个2UPowershelf的网口分别与交换机连接； 4)...支持整机柜漏液检测，将整机柜漏液检测信号接到最顶端powershelf的SMC，定制FW支持机柜级漏液检测； 5)...RMC整机柜管理单元：可以提供资产管理、电源管理、功耗管理、液冷漏液等管理功能。 （九）整机柜液冷系统 液冷机柜整体散热方案要求 1)...系统冷却能力：120KW，风液混合冷却，液冷为主，风冷为辅，液冷占比80%以上； 2)...系统流量设计：不大于120LPM； 3)...系统流量分配：通过机柜Manifold为系统各节点分配流量，Manifold相同节点流量均流性不大于15%； 4)...二次侧进液温度为40℃，进回液温差不大于15℃； 5)...具备机柜防泄漏设计方案； 6)...具备单节点防泄漏设计方案； 7)...具备机柜&节点泄漏检测方案和报警功能。 机柜Manifold技术特性： 1)...Manifold上装有与节点端配合的盲插快接头，每个快接头配有导向Pin，以确保与节点之间的精确对接； 2)...计算节点与交换节点的快接头均为UQDB04型号；3)...Manifold设计上快接头能兼容多种型号，对接螺纹兼容性设计；4)...Manifold相同节点流量均流性不大于15%；5)...Manifold上端排气阀，下端排污阀。 （十）机柜外形尺寸 1)...高度：2200mm-2500mm。底部到顶部，不含脚轮高度；脚轮高度50~70mm； 2)...宽度：600mm； 3)...深度：1400mm。 （十一）SU定义 机柜节距定义为1SU=46.5mm，包含1个2mm厚度的L型托盘。 （十二）机柜俯视截面关键尺寸 （十三）节点外形尺寸 1)...高度：43.2mm；2)...宽度：537mm；3)...深度：905mm。 （十四）节点关键尺寸 计算节点关键尺寸如下所示： 交换节点关键尺寸如下所示： （十五）助拔器关键信息 助拔器行程：11mmmin；助拔器受力：150kgmin。机柜处卡钩尺寸如下所示：