一、范围
本文件规定了ETH-X超节点整机柜的基本构成、机架机械结构尺寸、供电、散热、高速互联的实现方法,以及计算节点和交换节点的机械结构尺寸,并对机柜内部的液冷散热、供电规范和管理模块接口等做了设计要求。适用于向云计算服务商提供产品的服务器厂商做设计参考。
二、设计背景
随着AI大模型对算力需求的爆炸式增长,传统服务器扩展方式遇瓶颈,ETH-X超节点项目通过技术创新构建开放、可扩展的高带宽域(HBD)超节点系统,以提升AI算力。AIRack整机柜作为实现方式,具备高算力密度、高互联带宽、高功率密度和高能效,支持至少32计算节点的ScaleUp系统,通过ScaleUp接口和ScaleOut方式扩展更大规模算力集群。核心需求为超大带宽、高能效比和TCO。
三、AIRack概述
设计目标包括:46U-52U机架,16计算节点+8/12交换节点,4个POWERSHELF和BUSBAR供电(支持120KW+),液冷为主风冷为辅,计算节点单CPU配4GPU,支持多家芯片设计,液冷接口、BUSBAR和高速连接器均支持盲插。
四、关键设计规范
- HBD高速互联:未详细展开。
- 112G高速信号链路插损分配:分配给每个节点的插损链路预算最大值,建议裕量大于3dB,OCPOAM子卡方式增加4dB插损,建议直接焊接GPU。
- Powershelf:
- 尺寸:448mm86.5mm905mm;220V/380VAC输入,54VDC输出;支持10+2冗余PSU,最大132KW功耗;4个C13AC输出接口。
- 特性:PSU自带风扇散热,通过PWRCLIP输出DC54V到BUSBAR供电。
- SMC功能:54VDC输出连接器参考AmphenolBarKlip®BK600(通流700A,接触阻抗0.05mΩ),遵循ORV3接口。AC输入连接器参考Positronic。
- BusBAR:安装于机柜,为节点供电,导体横截面积和长度可定制,接触界面遵循ORV3规范,参考设计长度2.0m,导体横截面积425mm²,通流1000A。
- CableTray:
- 导线及高速连接器组成CABLETRAY,为交换节点和计算节点提供互连;每台机柜2套背板总线(左/右侧);高速连接器支持±1.8mm(X/Y)浮动,±2mm(Z)浮动,确保精确对位。
- 背板总线由线缆厂商连接、装配、测试后交付。
- 整机架管理:
- 采用48port_1G交换机作为Rack管理交换机,计算节点、交换节点通过网线连接;4个2UPowershelf网口与交换机连接;支持整机柜漏液检测(信号接入顶端PWRshelf SMC,定制FW实现机柜级检测);RMC整机柜管理单元提供资产管理、电源管理、功耗管理、液冷漏液等功能。
- 整机柜液冷系统:
- 整体散热方案:120KW,风液混合(液冷占比80%以上),流量不大于120LPM,节点流量均流性不大于15%;二次侧进液温度40℃,进回液温差不大于15℃;具备机柜和单节点防泄漏设计,以及泄漏检测和报警功能。
- 机柜Manifold:盲插快接头(UQDB04型号),兼容多种节点,流量均流性不大于15%,端部设排气阀和排污阀。
- 机柜外形尺寸:高度2200mm-2500mm(不含脚轮,50-70mm),宽度600mm,深度1400mm。
- SU定义:1SU=46.5mm(含2mm厚度L型托盘)。
- 节点外形尺寸:高度43.2mm,宽度537mm,深度905mm。
- 节点关键尺寸:计算节点和交换节点尺寸分别列出。
- 助拔器:行程11mm,受力150kg,机柜卡钩尺寸见原文。