数据中心端网协同的拥塞控制技术报告

数据中心端网协同的拥塞控制技术报告 开放数据中心标准推进委员会 2024.08发布 版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 编写组 项目经理： 黄宏毅华为技术有限公司 工作组长：王瑞雪中国移动通信集团有限公司 贡献专家： 刘泉华为技术有限公司韩振兴华为技术有限公司孙伟上海云脉芯联科技有限公司刘红巧中国移动通信集团有限公司吕勇中兴通讯股份有限公司谢新鹏锐捷网络股份有限公司黎立印星云智联科技有限公司邹胜亮新华三技术有限公司范富明烽火通信科技股份有限公司阮前中移动信息技术有限公司肖爱元中移动信息技术有限公司王少鹏中国信息通信研究院孙聪中国信息通信研究院 目录 版权声明......................................................................................................I编写组........................................................................................................II一、背景与概述.......................................................................................1二、现状与挑战.......................................................................................1（一）资源利用率低........................................................................2（二）复杂的网络环境....................................................................2（三）超融合架构的特殊需求........................................................2三、端网协同与零队列管理的架构设计..............................................2（一）网络设备中的空闲转发能力计算与队列管理....................4（二）发送端设备的动态调控与网络适应性优化........................5（三）智能决策机制的实时分析与自适应优化............................5四、零队列拥塞控制的核心技术..........................................................6（一）空闲转发能力的计算与应用................................................6（二）智能决策机制的响应与优化................................................7（三）端网协同机制的实时交互与动态优化................................8（四）零队列管理的实施与性能提升............................................8五、典型应用场景...................................................................................8（一）存储网络中的高效数据管理................................................9（二）智算训练网络中的数据传输优化......................................10（三）智算推理网络中的实时响应保障......................................11 六、实验与测试结果.............................................................................12 （一）平稳调速效果......................................................................12（二）排队时延表现......................................................................13（三）实验结论...............................................................................14 七、未来展望.........................................................................................14 一、背景与概述 在过去十年中，云计算、大数据以及人工智能（AI）技术的蓬勃发展，推动了数据中心规模的迅速扩展。数据中心不仅仅是存储和处理数据的场所，它们已成为了现代社会各个领域的基础设施，从金融服务到智能制造，再到电子商务和娱乐服务，数据中心无处不在。然而，随着数据中心的规模越来越大，网络拥塞问题也日益严重，给数据传输的稳定性和效率带来了极大的挑战。 传统的网络拥塞控制方法如RED（随机早期检测）和ECN（显式拥塞通知）在数据流量较小、网络拓扑结构相对简单的环境下，能够较好地发挥作用。然而，随着数据中心内部和外部连接的复杂性增加，这些传统方法逐渐暴露出其局限性。在现代数据中心中，尤其是在超融合网络的环境中，随着高性能计算、智能计算、高性能存储等业务的兴起，通过统一融合的网络架构和协议承载多种业务网络，系统对网络性能的要求变得更加严格。为了有效应对这些挑战，新的拥塞控制技术变得至关重要。 本白皮书提出了“端网协同的零队列主动拥塞控制”技术（以下简称为“C-AQM”），该技术通过创新的主动队列管理算法，目标是在数据中心高负载环境下，保持网络队列深度最小化，甚至实现零队列，从而显著提升数据传输的效率和网络的稳定性。 二、现状与挑战 （一）资源利用率低 当前，许多数据中心在运行过程中，面临着网络资源利用率不高的问题。这主要性能发挥，难以满足日益增长的数据传输需求。 （二）复杂的网络环境 随着数据中心规模的扩展，网络结构也变得越来越复杂。数据中心内部包含多种不同的设备和协议，这些设备和协议之间需要紧密协调，才能确保数据的顺利传输。然而，传统的拥塞控制方法难以在如此复杂的环境中保持一致的性能表现，尤其是在面对多个不同设备和协议时，容易出现协调不当的问题，进而影响整体网络性能。 （三）超融合架构的特殊需求 随着高性能计算、智能计算、高性能存储等业务的兴起，数据中心行业的技术趋势逐渐转向通过统一融合的网络架构和协议来承载多种业务网络。在这种超融合架构的环境中，计算、存储和网络资源被高度整合。这种整合对网络性能提出了更高的要求，需要更加高效的拥塞控制策略来保证系统的稳定运行。传统的拥塞控制方法在这种高集成度的环境中往往表现不足，无法满足对高性能和低延迟的严格要求。 三、端网协同与零队列管理的架构设计 本白皮书提出的C-AQM技术架构围绕数据中心网络中常见的拥塞问题设计，重点在于通过网络设备与发送端设备之间的协同工作，实现数据流量的精准控制与优化。 图1详细展示了C-AQM技术在网络中的工作流程： 发送端请求窗口调整：每个发送端在发送数据的同时，会请求增加窗口（即提高数据发送速率），请求被发送至交换机。 交换机决策：交换机根据当前的空闲转发能力与带宽利用情况，决定是否允许发送端增加发送窗口。决策结果被标记在数据报文中。 接收端反馈：接收端接收数据报文后，解析其中的授予信息，并将结果返回给发送端。 发送端调整：发送端根据交换机的授予信息，动态调整自己的发送窗口大小，从而实现对网络流量的精确控制，避免网络拥塞的发生。以下是该技术架构的详细描述： （一）网络设备中的空闲转发能力计算与队列管理 网络设备在此技术架构中承担数据包的转发与管理功能。为了应对复杂的网络环境，网络设备配备了用于计算和调整的模块，能够实时监测网络状态并动态调整数据转发路径与队列深度。 关键技术点： 空闲转发能力计算：网络设备负责计算空闲转发能力。空闲转发能力是目标出队列或出端口在特定时间段内的最大转发数据量上限与实际转发量之间的差值。通过周期性计算，网络设备能够准确评估当前的网络负载情况，计算出的剩余负载用于给端侧请求分配发送窗口增量，并据此调整队列深度，确保网络在高负载情况下仍能有效运作。 动态队列管理：网络设备具备动态调整队列深度的能力。根据空闲转发能力的计算结果，网络设备实时调整队列大小，防止数据包堆积，从而减少网络延迟和避免拥塞。 决策与反馈机制：当网络设备收到来自发送端设备的滑动窗口增量请求时，会根据当前的空闲转发能力做出决策，确定是否允许发送端设备增加或减少发送窗口或发送速率。这一机制确保了发送端设备的动态调整能够与当前网络状况相适应，保持数据传输的高效性。 （二）发送端设备的动态调控与网络适应性优化 发送端设备负责数据的生成和发送，并与网络设备协同工作以确保数据传输的效率和稳定性。发送端设备根据网络设备的反馈，动态调整发送策略以适应当前网络状况。 关键技术点： 调整请求的发送：发送端设备根据实时监测的网络状况，周期性地发送调整请求。这些请求包括调整发送窗口大小或发送速率的指示，目的是在不引发网络拥塞的前提下，优化数据传输效率。 动态调整发送策略：基于网络设备的反馈，发送端设备调整其发送策略。发送端设备通过适时增加或减少发送速率和窗口大小，确保数据能够有效传输，并尽可能减少网络拥塞的风险。 （三）智能决策机制的实时分析与自适应优化 智能决策机制是本白皮书提出的技术架构的核心部分，负责在数据传输过程中，根据实时网络状况和空闲转发能力，做出动态调整决策。 关键技术点： 实时数据分析：网络设备通过对实时网络数据的分析，评估当前的网络负载情况。智能决策机制根据分析结果，判断是否需要调整数据传输的参数，如发送窗口和发送速率。 动态决策与反馈：智能决策机制根据网络状态，实时做出增速、减速或保持现状的决策，并将这些决策通过报文反馈给发送端设备。发送端设备根据决策结果，调整数据发送策略，确保网络的高效与稳定运行。 自适应优化：智能决策机制还具备自适应优化功能，通过持续的网络数据采集和分析，不断改进决策算法，使其在面对不同网络环境时能够做出更加精准的判断，在网络的带宽充足时，保持高增量，快速打满网络带宽，在网络带宽不足时，发送端侧进入线性增或者降速阶段，避免拥塞发生。 四、零队列拥塞控制的核心技术 本报告提出了多项关键技术以解决数据中心网络中面临的拥塞问题。以下详细介绍了这些技术的具体实现和工作原理。 （一）空闲转发能力的计算与应用 空闲转发能力是网络设备在特定时间段内，可以额外处理的数据量，即网络设备的最大转发数据量上限与当前实际转发量之间的差值。此计算用于评估网络设备的负载能力，并为后续的队列管理和拥塞控制提供依据。 网络设备通过计算“信用计数器”（CreditCounter）的方式确定空闲转发能力。此计数器的值基于预设时间段内目标出队列或出