陆璐：在网计算(NACA)技术白皮书解读

中国移动陆璐2023年8月 中国移动提出“算力网络”新理念 中国移动充分发把握算力时代发展脉络，以网强算提出“算力网络”全新理念，两年多来持续开拓创新，全力推进算力网络发展，形成一系列创新成果，在业界取得了广泛共识，引起了巨大反响 “算网一体”是中国移动算力网络发展的深化 算网一体架构及总体设计 算网一体通过“联合感知”“混合控制”“极致互联”构建面向智能化时代的数字基础设施 分布式系统面临通信开销瓶颈问题 分布式应用场景在网计算主要面向分布式应用，随着分布式系统规模不断扩大，计算节点间的通信量激增，通信模式更加复杂，通信开销已成为AI、大数据、HPC等分布式应用的性能瓶颈，严重制约系统规模扩展 不同模型在进行分布式训练时，各阶段的时间分布不同ResNet 269的通信时间最长，且还有较长的Aggregator，AlexNet还具有较长的Synchronization，等等 •采用8个workers和8个PSs的网络训练AlexNet模型，网络通信时间占比可高达80%以上•面向AI场景的网络优化需要更细粒度的通信算子优化方案 需要尽可能压缩通信的时延占比，同时结合不同类型的通信过程优化分布式系统通信性能 [1] Parameter Hub: a Rack-Scale Parameter Server for Distributed Deep Neural Network Training，https://dl.acm.org/doi/10.1145/3267809.3267840 衡量分布式应用通信性能的重要指标是任务完成时间，负载均衡策略、计算节点多打一现象以及物理与逻辑通信模式不匹配等因素引发通信瓶颈问题，导致任务完成时间过长 网络侧ECMP实现AI训练流量调度，AI训练以巨型流为主，HPC业务以高并发小流为主，传统网络调度方式难以满足AI、HPC等计算密集型业务场景流量调优目标。 大数据流式计算多对一的数据处理模式：训练最后一级交换机和接收方之间Incast拥塞，造成计算流长尾时延，计算任务完成时间过长。 多对多逻辑通信需求与点对点物理通信实现：进程间MPI接口设计包含多对一、一对多及多对多的通信需求，计算节点间目前以单播实现MPI接口，物理网络存在大量冗余信息 在网计算有望攻克分布式系统通信瓶颈问题 在网计算突破现有计算模式，重构应用处理逻辑，为系统算效提升带来质变 与传统软件实现消息同步相比，IB SHARP方案性能提升近9倍 产业已逐步布局在网计算的研究和实践，中国移动积极推进试验验证和标准制定产业与学术进展中国移动CFITI试验网创新验证 标准推进：在CCSA TC3 WG3牵头完成业界首个在网计算行标立项 在网计算方向已有一定共识，但仍面临多方面发展挑战，需要产学研协同攻关 在网计算发展挑战 在网计算发展面临应用场景竖井式、协议实现封闭化、以及编程范式不友好等挑战 编程不友好 开发模式有差异：应用程序开发模式和网络开发模式不匹配，开发者学习门槛高 运行框架不支持：Tensorflow、Spark等分布式开发框架不支持在网计算能力调用 基于IB协议栈及专用硬件的在网计算，性能优势明显，但成本高，协议栈封闭不兼容 现有在网计算方案面向单一场景竖井式设计，在协议设计和硬件实现等方面缺乏通用性 需要从产业、生态等方面破除技术壁垒，构建统一通用的在网计算能力 在网计算NACANetworkAssistedComputingAcceleration 逻辑物理统一 NACA以提升在网计算通用性为目标，重构应用处理模式，构建全新的在网计算通信库，围绕拓扑映射、编程范式、计算实现、资源管理形成”四个统一”，实现网络辅助计算加速， 在网计算NACA技术架构 NACA架构核心在“一横一纵”，横向在网计算通信库承上启下，以异构网内算力实现统一在网计算服务，纵向编排管理全栈贯通，优化应用开发模式、协同端网任务部署、统筹网内资源管理 核心特征1：逻辑物理统一 NACA在网计算物理实现比传统计算实现方式更加亲和业务逻辑拓扑，网络与业务紧密耦合 在网计算在网计算相较传统计算与逻辑拓扑映射更亲和统一 核心特征2：通信原语统一 NACA面向差异化应用定义统一在网计算通信库，以统一的设备原语实现通信库，提升在网计算的通用性 核心特征3：编程范式统一 NACA面向不同应用程序设计，提供统一编程语言及通用开发模式，简化异构设备开发入口 核心特征4：网内资源统一 NACA基于RDMA、CXL等高性能互联协议构建统一在网计算资源池，优化网络资源管理，提升网内资源利用率 关键技术1：计算语义映射 消息是分布式应用进程间通信的传递内容。传统网络设备基于数据包转发，在网计算设备基于消息处理，因此需要把消息和数据包的语义映射起来 关键技术2：计算正确性保障 在网计算要保证与端侧计算的结果等价，即保证计算正确性。计算正确性还受丢包影响，网络拥塞和乱序则会加剧丢包，因此网络拥塞控制、可靠性传输是在网计算正确性和计算效率的保障 方案：依靠拥塞控制和可靠性传输降低丢包 •利用bitmap高效记录已收到和已处理包的序号；•基于现有可靠性传输协议如Go-Back-N、选择性重传等，针对在网计算进行改进。所有数据包 •优化网络负载均衡方案，避免负载不均导致的拥堵；•基于现有PFC、ECN、DCQCN等流量控制机制针对在网计算进行改进 关键技术3：计算程序网内编排 关键技术4：网内资源池化 虚拟化和池化管理技术，统一北向接口，屏蔽异构硬件差异 异构网络设备对接，端网资源一致性 计算、传输周期交替，内存利用率待提高 跨设备资源统一池化北向统一对接调度、南向注册异构网络、南向通 设备内存虚拟化多租户、多实例、细粒度、动态分配 知计算服务器、一致性更新协议 总结与展望 •深化在网计算技术攻关 围绕在网计算关键技术挑战进行联合攻坚，共同探索解决方案，推进在网计算成为网络内生的普适能力。 •推动在网计算技术开源及标准化 逐步开展在网计算标准制定及开源工作，突破行业技术壁垒，共同构筑开放共享的在网计算发展局面。 •开展在网计算联合试验验证 基于中国移动CFITI试验平台，联合开展在网计算创新技术验证，不断推进产业成熟。 希望携手产业界推进在网计算NACA技术的开拓和研究！ 中移智库公众号 中国移动研究院公众号