2023ODCC05006 交换机56G PAM4前端口设计方案研究白皮书

版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 编写组 项目经理： 前言 随着信号速率上升到56G-PAM4，交换机前端口设计，尤其是信号集成，制作工艺等也变得越来越有挑战。相较于上一代基于25G-NRZ的前端口技术，现有技术的信号速率从25G-NRZ上升到56G-PAM4，前端口在通道密度上也演进出两条技术路线：基于四通道的QSFP56设计，和基于双密度8通道的QSFP-DD设计。 2016年，QSFP-DDMSA小组开始计划开发QSFP-DD高速接口，之后该国际组织发布了包含图纸在内的QSFP-DD硬件规格的1.0版本。发展至今，QSFP-DDMSA已较为完善，各大领先的光模块厂商的QSFP-DD光模块先后上市，相较于QSFP高速接口，QSFP-DD的高密度优势使其迅速占领了市场中的重要地位。 目前主流的QSFP-DD高速接口连接器分为插针型和表贴型两种。插针型连接器在制作PCB时，需要给连接器插入接触的通孔保留一定的金属长度，以保证其安装的稳定性。而表贴型连接器的设计不存在此类问题，在连接过孔的设计上较为灵活。在其生产制作上，表贴型连接器在PCB上的设计制造由于有明显的成本优势而成为行业内的研究重点。 采用4通道连接器的交换机设计既可以平滑升级到56G-PAM4交换机；也可以平滑升级到下一代112G-PAM4交换机。 本白皮书研究了市场上QSFP-DD正反表贴型连接器的发展现状，对比分析了QSFP-DD高速接口在PCB设计上的多种技术方案，旨 在为交换机设计人员提供较为全面的高速400G连接器贴装法的技术参考。 目录 VI版权声明........................................................................................................................I编写组...........................................................................................................................II前言...........................................................................................................................IV一、项目背景..............................................................................................................1二、项目目标..............................................................................................................2三、专用术语..............................................................................................................2四、QSFP-DD背对背贴装技术方案综述.................................................................2（一）前端口设计技术路线的行业现状...........................................................21.PCB+扣板方案..........................................................................................32.PCB+Flyovercable方案...........................................................................43.插卡方案.....................................................................................................4（二）8通道前端口QSFP-DD背对背贴装解决方案......................................5（三）基于QSFP-DD前端口的PCB设计的相关技术方案分析....................61.插针型方案.................................................................................................62.表贴方案一.................................................................................................73.表贴方案二.................................................................................................84.表贴方案三...............................................................................................105.表贴方案四................................................................................................116.表贴方案五...............................................................................................14（四）前端口为4通道与8通道实现的交换机方案对比..............................15（五）不同QSFP-DD前端口方案成本对比...................................................15（六）小结.........................................................................................................16 五、4通道、8通道前端口仿真与测试...................................................................16 （一）信号完整性仿真.....................................................................................17（二）测试板制作及测试环境.........................................................................20（三）测试结果.................................................................................................22 六、引用的文档和资料............................................................................................23 交换机56G PAM4前端口设计方案研究白皮书 一、项目背景 随着全球数据中心的发展和大规模的部署，数据中心的硬件成本和运营成本大幅度增加，降本增效越来越得到用户的重视。数据中心希望能用更大的带宽实现互联。相较于4通道的高速接口如QSFP56，8通道的QSFP-DD在同样横截面大小的接口上可获得双倍于QSFP56的带宽。 一方面QSFP-DD技术具有低功耗、低延时、易于部署、低成本等优势。例如，原有的4RU128个端口x200G的交换机，通过使用SMT2x1QSFP-DD高速连接器可设计成2RU64个端口x400G的交换机。由于交换机内部所需高速板材，板间连接器以及外部的光模块数目都可以减少，从而降低了交换机的制作和运营成本。 另一方面，在使用QSFP-DD背对背贴装时，其高密度的特性会对PCB连接器处的信号集成设计带来极大的挑战。 目前市场上4通道前端口和8道前端口两种技术路线同时并行演进。鉴于背对背贴装的8通道前端口技术的成本优势，解决QSFP-DD背对背贴装时连接器处高速信号扇出的技术问题，成为了行业内的研究热点。 二、项目目标 QSFP-DD背对背贴装技术的设计目标是实现前端口带宽翻番；降低硬件成本，提高运营效率。 三、专用术语 本白皮书使用的专业术语说明： 四、QSFP-DD背对背贴装技术方案综述 （一）前端口设计技术路线的行业现状 国内互联网企业数据中心在构建数据中心交换机的互联部分，以4通道的前端口为常见，如：QSFP28，QSFP56等。4通道前端口 由于在连接器处的扇出实现相比8通道在信号集成上难度相对较低，易于硬件设计实现。 为实现上图交换机的设计，有多种技术方案可选： 1.PCB+扣板方案 此方案需要4RU高度的机箱，前端口选用4通道连接器，在机器中间设置一张交换主板，然后在其上方和下方各设置一张扣板，扣板与主板之间使用扣板连接器进行连接。该方案的优点是方案成熟、端口散热无风险；可改进之处是C2M链路需要通过一级连接器，信号集成实现有一定难度，且存在扣板连接器选型以及加工可靠性的技术问题。 2.PCB+Flyovercable方案 该方案需要4RU高度的机箱，前端口使用4通道连接器，在机器下半部分中部设置一张交换主板，然后通过Flyovercable构建机器上半部分的前端口。该方案线缆无信号集成风险，但整机实现有难度且成本相对较高。 3.插卡方案 该方案需要4RU高度的机箱，前端口使用4通道连接器，在机器后部中间设置一块交换主板，通过板间正交连接器连接8块子板。每块板上需要有PHY作为高速信号的中继。此方案成熟，架构简单，端口灵活，无技术难点，但相对功耗较大，并且成本高。 上述数据中心核心设备可选方案在前端口均可使用4通道的连接器实现，在连接器处的高速信号扇出处均不存在信号集成风险。 （二）8通道前端口QSFP-DD背对背贴装解决方案 此方案在实现上述交换机同等带宽时，只需要2RU高度，前端口使用8通道连接器。在机器中间只需设置一块交换主板，主板两端背对背贴装堆叠的QSFP-DD连接器。此方案架构简单、机箱成本最低。其限制在于只能实现8通道前端口的连接器方案。且技术难点在于PCB布线在连接器处的扇出技术难度较大。 （三）基于QSFP-DD前端口的PCB设计的相关技术方案分析 1.插针型方案 该方案可以实现双倍密度QSFP56的走线在连接器处完全扇出，由于该连接器属于插针型连接器，需要在PCB上的特定位置设置特定形状的过孔，且不能对该孔进行信