下一代智算DC高速互联——448G/lane需求白皮书

--448G/lane需求白皮书 版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 编写团队项目经理：徐丽华为技术有限公司工作组长:郭亮中国信息通信研究院贡献专家:郭亮中国信息通信研究院孙黎阳华为技术有限公司李亮华为技术有限公司李琛华为技术有限公司丁琪华为技术有限公司寇含君华为技术有限公司陈卓华为技术有限公司叶尧华为技术有限公司范纯磊华为技术有限公司杨建华为技术有限公司李春荣华为技术有限公司张正涛华为技术有限公司吴悦峰华为技术有限公司陈晖华为技术有限公司王浩华为技术有限公司谢丽娜中国信息通信研究院李佳媛中国信息通信研究院何泽坤腾讯计算机系统有限公司张玓北京快手科技有限公司戚宝侃北京快手科技有限公司 周骥北京理工大学（珠海）魏仲民中兴通讯股份有限公司尹昌刚中兴通讯股份有限公司张阔中兴通讯股份有限公司姚超男青岛海信宽带多媒体技术有限公司金龙东莞立讯技术有限公司罗振东莞立讯技术有限公司林子杰兰洋（宁波）科技有限公司尧光兰洋（宁波）科技有限公司石兴建石兴建比特科技（深圳）有限公司陈春花松下电子材料(广州)有限公司中国研究开发中心李智深南电路股份有限公司霍承达北京邮电大学 前言 随着智能计算时代的到来，特别是AI大模型的迅猛发展，对数据中心内部及之间的高速互联提出了前所未有的挑战与需求。回顾SerDes（Serializer/Deserializer）技术的发展历程，从早期数Gbps级数据传输速率到如今224Gbps甚至更高，每一次跨越都极大地推动了计算和存储网络的进步。面对当前千亿乃至万亿参数规模的大模型训练任务，传统的互联技术已难以满足其对带宽、延迟及可靠性的苛刻要求。为了支持更大规模的分布式计算集群，实现高效的数据交换，448Gbps高速互联技术应运而生。 本白皮书旨在阐述下一代智算数据中心在采用448G高速互联技术时所面临的需求、挑战以及潜在解决方案，为行业提供一个全面的技术指南和发展蓝图。本白皮书希望能够激发更多的创新思维，加速448G高速互联的到来，助力全球范围内的人工智能应用落地与推广。 目录 一、SerDes技术发展：从Gbps到448G/lane........................1 1.1SerDes发展简介........................................11.2448G/lane与下一代以太速率的关系.......................5二、448G/lane驱动场景与核心需求................................6三、448G/lane关键技术挑战......................................93.1封装与互联挑战.........................................93.2信号完整性挑战........................................173.3功耗与散热挑战........................................273.4测试与验证挑战........................................313.5时延挑战..............................................32四、448G/lane潜在解决方案与技术路径...........................344.1创新封装与新型互联介质................................344.2信号完整性技术........................................394.3功耗与散热技术........................................504.4测试与验证技术........................................514.5低时延技术............................................53五、产业生态与标准化..........................................565.1国外标准与生态........................................565.2国内标准与生态........................................57六、总结与展望................................................59 图目录 图1 SerDes速率演进..........................................1图2 SerDes与以太位置关系图..................................5图3 448GSerDes与以太速率关系图.............................6图4近五年内大模型的参数量大小变化...........................7图5 FCBGA封装结构图.........................................9图6有机基板结构图..........................................10图7 BGAPitch与带宽对应关系................................11图8焊点形变案例.............................................12图9高速板材DK演进趋势......................................14图10高速板材DF演进趋势.....................................15图11高速板材铜箔粗糙度演进趋势.............................15图12高速cable弯折前后TDR阻抗对比.........................16图13高速cable弯折前后模式转换对比.........................17图14高速cable弯折前后频域skew对比........................17图15（a）C2M电信道的频率响应曲线（b）信道的脉冲响应........18图16三种不同C2M信道情况对比...............................20图17（a）抖动定义；（b）抖动跟踪。...........................21图18(a)典型JTOL(b)JTOL测量设置........................22图19典型CDRJTRAN图........................................23图20不同环路延时下传递函数的特征...........................24图21单个PLL+多路PI架构...................................25图22 MM鉴相器示例..........................................25图23KP4FEC在1+αD信道和单抽头DFE下的理论纠前-纠后误码率曲线......................................................27图24单条lane速率与SerDes功耗比例变化图..................28 图25传统交换机互联结构.....................................35图26光电合封交换机互联结构................................35图27 CPC封装结构...........................................36图28 CPC系统封装...........................................36图29 FC-PAM6星座图........................................40图30 FC-PAM6的PDF图.......................................40图31部分响应PAM4调制系统架构..............................41图32 PAM4信号和DB-PAM4信号频谱对比图......................41图33PAM4m5调制原理框图...................................43图34 SerDes均衡架构图......................................44图35增强RS码字纠错性能....................................46图36级联码方案和增强RS码译码性能对比......................47图37 PAM4调制解调不同比特出错特性..........................48图38(a)基于置信传播的迭代译码算法(b)软信息辅助的软译码算法......................................................49图39 448GSerDes信道损耗与均衡时延关系.....................54图40UALinkvsEthernet....................................55 表目录 表1 OIFCEISerDes标准演进表................................3表2不同速率的基本参数信息..................................19表3 PAM8映射规则...........................................42 一、SerDes技术发展：从Gbps到448G/lane 1.1SerDes发展简介 在早期数据传输系统中，为提升数据带宽，业界普遍采用并行传输方案。然而，该方案在实际应用中存在多组并行链路之间的串扰、接口数据与时钟难以精准同步等问题，限制传输带宽进一步提升。相比之下，串行链路凭借布线数量少、抗干扰能力强等优势逐步替代并行链路，成为高速数据通信领域的主流传输方式。 SerDes（Serializer，串行器/Deserializer，解串器）技术正是支撑高速串行通信的关键技术。SerDes标准最早于2004年在OIF（光互联论坛）CommonElectricalI/O（CEI通用电气接口）标准组定义。对于每一代SerDes，考虑到应用场景的多样性，OIFCEI定义的速率是个范围值，如图1所示。 最初，SerDes用于远距离广域网光纤通信与同轴电缆连接，旨在通过提高串行收发速率以最大化利用电缆吞吐量，满足广域网对大容量、远距离传输需求。到今天，SerDes已发展了20多年。考虑到SerDes发展代际的多样性，表1展示了CEILR（LongReach长距离）场景下自28G至今的演进过程。SerDes具体发展历程如下文所述。 2000年，10Gb以太网正式推出，SerDes成为网络通信的关键技术，并逐步应用到芯片/板卡互联、数据中心数据交换、光纤和同心电缆传输和车载器件等多元化场景。随着互联网和局域网技术迅猛发展，网络通信对高速数据传输需求