B 伯努利融合型机柜技术白皮书

1伯努利融合型机柜技术白皮书ODCC-2023-0200B[编号ODCC-2023-0200B]伯努利融合型机柜技术白皮书开放数据中心委员会2023-09发布 I伯努利融合型机柜技术白皮书ODCC-2023-0200B版权声明ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 II伯努利融合型机柜技术白皮书ODCC-2023-0200B编写组项目经理：李建北京三快云计算有限公司工作组长：李代程百度在线网络技术（北京）有限公司贡献专家：薛媛北京三快云计算有限公司金玉龙北京三快云计算有限公司牛国宇北京三快云计算有限公司梅方义腾讯科技（深圳）有限公司贺光源腾讯科技（深圳）有限公司熊心腾讯科技（深圳）有限公司王舜北京秦淮数据有限公司王东北京秦淮数据有限公司梁旭飞北京秦淮数据有限公司夏岩中航光电科技股份有限公司董玉山中航光电科技股份有限公司关培杰广州南盾通讯设备有限公司阮迪中国信息通信研究院 III伯努利融合型机柜技术白皮书ODCC-2023-0200B前言随着互联网和云计算技术的发展，业界对于服务器的算力需求呈现更高性能、更高能效和多元化趋势，CPU、GPU、DPU等不同算力平台带来技术创新的同时，对于基础设施硬件的散热和能效等方面的挑战越来越大。作为基础设施硬件三大核心的服务器、机房、机柜，在当下的产业结构中采用分层解耦设计，各层级主要聚焦在各自的层级进行相关技术探索和优化。从过往的经验来看，这种分层设计在促进产业链做大、做精、做细等方面做出了很大贡献，但是因为产业分工、投入等的方面的差异，导致各层级之间的技术能力无法同时提高或者对齐，从而表现出明显的“木桶效应”。对应层级的技术短板在更强调基础设施硬件综合能力的需求下变的更为突出。以机柜技术为例，在标准机柜无法满足需求的时候，以ODCC和OCP为代表的行业组织，几乎同时对机柜技术展开技术探索，以天蝎、方升和OpenRack为代表，在机柜的结构设计、空间设计、标准化等方面获得了显著的成果，积累了非常有价值的经验。但是相比服务器层级和机房层级的投入和成果，作为连接服务器和机房的机柜技术探索仍然偏少。比如：服务器可以通过上盖开孔提高系统散热能力，机房冷热通道温差的扩大可以降低能耗，但是因为机柜设计的原因，冷热通道的温差扩大和上盖开孔可能会导致热风回流问题恶化，进而限制服务器散热能力，也反向限制机房能耗的降低。类似这种问题都说明机柜存在明显的技术短板。 IV伯努利融合型机柜技术白皮书ODCC-2023-0200B为了解决分层设计带来的机柜技术短板问题，美团、腾讯等具备垂直整合能力的互联网厂商倡导基于跨层级的系统化设计理念对服务器机柜进行优化，机柜将承担更多的系统功能需求，不仅具备结构承载能力，还将承担散热能力提升、能效优化等多方面的系统需求。从本项目的实践结果来看，架构改动小、实际收益大，体现了跨层级系统化设计思想对于当下基础设施领域优化的指导意义，同时也希望系统化设计思想可以为行业带来更多的应用收益。本项目的实施过程中，得到了来自腾讯、秦淮数据、中航光电、ODCC设施组内相关单位和专家的大力支持，同时对支持本项目落地的广州南盾通讯设备有限公司、普洛斯普瑞数据科技（上海）有限公司、德州欧瑞电子通信设备制造有限公司等单位和专家，在此一并表示感谢。由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各位读者批评指正。如有意见或建议请联系编写组。 V伯努利融合型机柜技术白皮书ODCC-2023-0200B目录版权声明...........................................................I编制说明..........................................................II前言...........................................................III一、概述..........................................................1二、术语、定义和缩略语............................................1三、伯努利融合型机柜的设计思想....................................1四、伯努利融合型机柜参考设计标准..................................3（一）机柜高度.................................................5（二）机柜宽度与深度...........................................6（三）机柜标识.................................................8（四）脚轮与支柱...............................................8（五）机柜承载能力定义.........................................9（六）机柜并柜定义.............................................9（七）机柜布线定义与约束......................................10（八）设备供电定义与机柜接地..................................12（九）PDU安装定义............................................13（十）服务器安装支架..........................................15（十一）交换机专用封堵框设计..................................16（十二）热端封堵毛刷板设计....................................17（十三）热端封堵盲板设计......................................18（十四）机柜热端封堵泡棉设计..................................18（十五）服务器上下间隙封堵设计................................19 VI伯努利融合型机柜技术白皮书ODCC-2023-0200B（十六）冷板式液冷兼容设计....................................21（十七）集中供电兼容设计......................................23五、对安装设备的结构尺寸约束.....................................24（一）机箱深度（D）...........................................24（二）机箱宽度（W）...........................................24（三）机箱高度（H）...........................................24六、交付模式的定义...............................................25七、使用环境.....................................................25 1伯努利融合型机柜技术白皮书ODCC-2023-0200B伯努利融合型机柜技术白皮书一、概述本白皮书主要介绍伯努利融合型机柜架构设计思想和参考设计方案，定义一种适合中国云数据中心部署使用的通用机柜设计参考，并对参考设计方案中的各种尺寸、设计建议、安装要求等进行明确和介绍。二、术语、定义和缩略语术语解释RURackUnit,1RU=44.45mm,EIA-300标准规定的U高，一般称为标准U高。AU1AU=45.45mm，起源于阿里牵头在ODCC推动的COCI（ChinaOpenCloudInfrastructure）相关项目对应的服务器U高标准，COCIUnit，1AU=1CU=45.45mm。SUScorpioRackUnit,1SU=46.5mm，天蝎机柜规范主推的U高标准。OUOpenUnit,1OU=48mm，OCP（OpenCumputeProject）主推的U高标准。三、伯努利融合型机柜的设计思想随着互联网和云计算技术的发展，业界对于服务器的算力需求呈现更高性能、更高能效和多元化趋势，CPU、GPU、DPU等不同算力平台带来技术创新的同时，对于基础设施硬件的散热和能效等方面的挑战越来越大。作为基础设施硬件三大核心的服务器、机房、机柜，在当下的产业结构中以分层解耦设计为主，各层级主要聚焦在各自的层级进行相关技术探索和优化，其中服务器层级和机房层级的投入和成果更多，而作为连接服务器和机房的机柜技术探索则 2伯努利融合型机柜技术白皮书ODCC-2023-0200B相对较少，机柜技术领域在当下已经成为基础设施硬件的短板，呈现出明显的木桶效应。为了解决基础设施分层设计带来的机柜技术短板，美团、腾讯等具备垂直整合能力的互联网厂商倡导基于跨层级的系统化设计理念对服务器机柜进行优化，充分吸收现有机柜标准的设计经验，对现有机柜架构进行优化设计，提供一款基于伯努利散热架构（机柜前端开放+后端封闭的散热架构）的融合型机柜参考设计，该机柜具备40KW+的单柜散热能力，25°C+的冷热通道支持能力，兼容前后出线，兼容通用服务器和云服务器部署，兼容风冷和冷板式液冷混合部署，兼容标准机柜和整机柜出货，兼容CRPS和集中供电等特点。可以有效解决的当前机柜技术面临的兼容性和能效问题，是一款非常具备应用前景的机柜架构。伯努利融合型机柜采用热端封闭+冷端开放的创新散热架构，相比业界现有的机柜架构，在提升机柜系统散热能力和能效方面优势明显（相关的数据可以参考ODCC订阅号的文章：美团李建：服务器机柜散热架构优化实践），机柜散热架构对比如下图所示。 3伯努利融合型机柜技术白皮书ODCC-2023-0200B图1伯努利散热架构简介伯努利融合型机柜强调的是融合，既吸纳业界现有机柜的优秀设计，又强化机柜在基础设施中对能效提升的作用，同时充分考虑兼容性，以解决IDC面临的各种混布需求。本文会提供伯努利融合型机柜的参考设计，并对该机柜的所有设计进行开源。需要说明的是，该参考设计主要为架构层面的要求，工程人员可以根据实际使用需求做适当的修改，下面对该机柜的参考设计进行详细介绍。四、伯努利融合型机柜参考设计标准本机柜的散热架构实现方案如下：（1）热端封闭：机柜后方孔条与后立柱之间实现结构封堵；后方孔条与服务器之间通过泡棉实现热端封堵；服务器上下间隙通过封堵泡棉实现热端封堵。 4伯努利融合型机柜技术白皮书ODCC-2023-0200B（2）冷端开放：机柜的前方孔条与前立柱之间的间隙打开；服务器上下间隙在机柜前端不做处理。相关设计可以参考下图。图2伯努利融合型机柜热端封闭方案图3伯努利融合型机柜冷端开放方案 5伯努利融合型机柜技术白皮书ODCC-2023-0200B（一）机柜高度伯努利融合型通用机柜参考设计高度2500mm，配置支撑柱，不配置脚轮。该机柜高度保持机柜架构保持一致的基础上，可以根据实际需要进行适配设计，比如42U或者46U的高度标准。图4伯努利融合型机柜高度伯努利融合机柜架构本身可以兼容不同的U高设计标准，原则上兼容业界常用的4种U高标准，包含RU/AU/SU/OU。本文的机柜参考设计采用SU标准，可安装服务器空间为52S