中国移动算网一体技术创新与实践

陆璐 中国移动研究院2023年8月 算力是数字经济核心生产力生产哦i你是算力是数字经济核心生产力” 算力已成为数字经济核心驱动，直接影响数字经济发展的速度，决定社会智能的发展高度 ChatGPT等大模型的火爆，让算力越来越受关注，“海量数据+大算力+大模型”成为未来人工智能发展标配 中国移动提出“算力网络”新理念 中国移动充分把握算力时代发展脉络，以网强算提出“算力网络”全新理念，两年多来持续开拓创新，全力推进算力网络发展，在业界取得了广泛共识，引起了巨大反响 推动算力网络体系化发展 中国移动从算网基础设施构建、业务融合创新、创新技术引领等多方面系统化推进算力网络建设和发展 主线三 主线二 主线一 面向算网基础设施构建 面向业务融合创新 面向创新技术引领 实现算网高效协同，支持CHBN业务融合发展，打造算网全新生态 物理空间、逻辑空间、异构空间、多主体算力融通 实现创新技术引领，打造原创技术策源地 “4+N+31+X”布局，1000边缘节点打造20ms、5ms、1ms三级时延圈SRv6/G-SRv6打造统一算网底座 产品算力化和算力产品化发布算网服务1.0构筑算网大脑 三横两纵体系架构三十二个核心技术形成技术体系构建试验网CFITI，打造科学装置 “算网一体”是中国移动算力网络发展的深化 算网一体的驱动力 算网一体是算力网络发展的目标阶段，是计算和网络两大学科深度融合形成的新型技术簇，是融合贯通多要素的一体化服务，是实现算力网络即取即用社会级服务愿景的重要途径 算网一体总体设计 算网一体通过“联合感知”“混合控制”“极致互联”构建面向智能化时代的数字基础设施 关键技术 创新互联网架构协议，基于算网资源联合感知实现动态融合决策选路 网络内生算力，基于集中式控制，实现计算任务跨云、网、边、端分布式协同 突破RDMA长距传输瓶颈，实现广域高性能互联 3.广域RDMA 基于网络大模型的算网数字孪生构建可视、可管、可控的算网基础设施 1、算力路由(1/4) 018年开始研究算网融合技术，面向云边协同和边边协同的“性能反转”等问题，提出在路由域引入计算信息进行联合调度 解决思路 问题本质 发现问题 计算和网络是独立系统，算的负载和网的拥塞信息没有产生关联 在路由中引入计算信息，进行联合调度, 云边以及边边调度之间出现“性能反转” （1）感知：路由系统感知计算资源（2）路由：综合网络和计算信息寻址选路 算：降低负载、计算资源预留...网：增加带宽、配置专线...增加网络建设、运维成本造成大量计算资源的闲置 -计算负载高及网络队列深的条件下，边缘响应平均时延及尾时延远大于中心云-算的负载状态以及网的拥塞情况均是问题来源 形成算力感知网络CAN的核心方向-算力路由 通过仿真发现在路由中引入算力信息在低、中、重载情况下均有一定的优化效果 批量100个客户端通过http连续访问服务端程序 1、算力路由(2/4) 历经4年，中国移动在IETF发起成立算力路由工作组(CATS, Computing-Aware Traffic Steering)并担任主席，是IETF路由域近10年由中国高校/公司牵头成立的两个工作组之一 https://datatracker.ietf.org/wg/cats/about/ CATS面向AR/VR、车联网等新型多节点部署服务的场景，考虑网络边缘节点如何引导服务的客户端和提供服务的站点之间的流量的问题，制定算力路由的场景、需求、架构标准 范围 里程碑/计划 •基础工作：问题声明、场景、需求、技术分析等•总体架构：定义、组网、功能模块等•其他基础工作：计算指标的分析、控制面和数据面的定义、基于现有协议的实现、潜在新协议需求的分析 •2023年7月，采纳问题声明、场景、需求、技术分析等基础文稿•2024年7月，采纳架构文稿•2025年11月，提交架构文稿至RFC发布序列 1、算力路由CATS（3/4） CATS已经召开二次会议，目前已经完成场景和需求立项，聚焦在架构、需求、计算指标定义等工作 CATS核心组件 CATS架构 Ingress CATS-Router： •CATS Traffic Classifier(C-TC):区分是否是CATS流量，决定服务节点•CATS Path Selector(C-PS)：选择网络转发路径 Egress CATS-Router： •CATS Network Metric Agent(C-NMA):收集和分发网络指标•CATS Service Metric Agent(C-SMA):收集和分发服务和计算指标 CATS-control center： •CATS Computing information Base(C-CIB)：维护细粒度的计算信息•CATS Network Metric information Base(C-NIB):维护细粒度的网络信息•CATS Path Calculation Unit(C-PCE):计算最合适的网络路径和选择服务节点•CATS-SBI interface:CATS-control center与CATS-Router的接口 https://datatracker.ietf.org/wg/cats/document/ 1、算力路由(4/4） 算力路由系统根据网络部署情况，支持集中式、分布式、混合式等多种组网方案。从集中式组网方案开始，分阶段逐步开展算力路由实验验证 阶段I集中式方案 •完成算网控制器和算力路由网关原型样机开发，构建业内首个集中式算力路由验证系统•推进广东珠海现网试点验证，验证业务承载量提升30%以上，算网综合资源利用率提升32%以上 阶段II端到端算力路由系统验证 •开展规模性部署的CATS技术方案验证•开展CA-BGP等新型协议的验证测试•分布式算力路由样机已进入平台测试阶段 分布式算力路由样机 《算力感知和算力路由构建算网一体化调度》荣获工信部2022年ICT优秀案例“卓越科技创新奖” 《算力感知和路由方案》通信世界全媒体“2023年度算力应用案例十大标杆” 《算网一体技术体系关键技术创新案例》荣获CCSA TC6102022年度“最佳实践案例” 《面向算网一体的算力路由技术攻关和标准突破》方案成功入选2023届未来网络领先创新科技成果 2、在网计算（1/4） 通信开销已成为分布式AI模型训练的性能瓶颈，严重制约系统规模扩展现有的网络侧及端侧解决方案仍面临负载不均衡、难以动态调度等问题 •Tensorflow在128张卡下训练InceptionV3模型（参数量2000多万），节点间通信时间已接近系统总处理时间的50%•GPT-3模型已增长至1750亿参数，训练预估需要5000张GPU卡，通信瓶颈问题将被进一步放大 ECMP等网络侧调度策略无法适应智算网络差异化的流量特性，造成网络链路负载严重不均衡 以在网计算实现MPI接口广播及规约操作为例，说明在网计算对AI模型训练系统性能提升 2、在网计算（2/4） 在网计算在学术和产业上已经有一定的研究基础，仍然面临竖井式、封闭化、开发不友好等挑战 挑战 竖井式 现有在网计算设计面向单一场景，在协议设计、硬件实现等方面不通用 封闭化 基于InfiniBand网络协议栈及专用网络硬件实现在网计算，成本昂贵 开发不友好 应用程序开发模式和网络开发模式不匹配，开发者学习门槛高 2、在网计算（3/4） 中国移动提出在网计算NACA架构（Network Assisted Computing Acceleration），通过重塑应用处理和开发模式，实现系统加速，提升算网资源利用率 2、在网计算（4/4） 以分布式机器学习模型训练为典型应用场景，中国移动推进在网计算的验证和标准 训练提速：相比参数服务器架构BytePS，通信密集型任务最高可提升60%以上 带宽优化：相比RAR架构Horovod，降低智算集群网络带宽占用约1倍左右 •在网计算继承了集中式的PS架构，网络高速处理能力克服了PS侧的通信瓶颈•相比环形结构RAR，在网计算更加节省带宽资源，且处理性能方面仍有提升 标准推进：在CCSA TC3 WG3牵头完成首个在网计算行标立项 3、广域RDMA（1/3） 海量数据跨广域网传输的场景越来越多，数据异地上云、云间迁移等场景的数据规模越来越大 3、广域RDMA（2/3） 实现高吞吐、高可靠、低时延、低算力损耗“两高两低”特性的算网高性能互联网络 广域RDMA技术 4个关键技术，实现广域高吞吐传输 时延由1ms增加到10ms时，吞吐下降10倍 ①新型拥塞控制算法，提升吞吐，降低丢包②丢包快速恢复算法，减少重传，降低时延③丢包精确重传机制，实现RDMA有损部署④数据安全加密协议，实现数据高安全传输 丢包率达到0.5%时，有效吞吐接近为0 联合12家单位，牵头制订CCSA行标《承载RMDA的广域网技术要求》，推动广域RDMA技术成熟应用 3、广域RDMA（3/3） 利用广域RDMA高吞吐特性，打造任务式数据快递服务，满足多场景大规模数据传输需求 •专线传输：高带宽专线实时传输，几十TB/小时•聚合传输：汇聚空闲带宽实时传输，几百GB ~ TB/小时•错峰传输：夜间空闲带宽错峰传输，几十TB/小时 •数据快递站：数据源不能直连网络场景 •数据直通模式：数据源通过网络在线传输 •8月19号，2023中国算力大会发布《中国移动数据快递技术白皮书》，推动广域高吞吐网络技术发展•正在推进10+省市现网应用，覆盖通算、智算、超算多种场景，逐步构建覆盖全国的数据快递服务 4、算网数字孪生-概念及架构（1/3） 算网数字孪生通过网络本体与虚拟孪生体间的实时交互映射，助力实现网络的全生命周期管理以及创新优化策略的低风险、高效率部署，是面向算网一体的关键技术之一 提出数字孪生网络“三层三域双闭环”系统架构 p三层：物理网络层、孪生网络层和网络应用层p三域：孪生网络层数据域、模型域和管理域p双闭环：内闭环完成配置变更前的仿真验证和迭代优化，外闭环完成对网络应用的控制、反馈和优化 学术研究 标准推进 l基础模型本体建模方法lDTN数据域的高效数据采集l形式化建模方法研究l高精度流量模拟方法研究l以数据为中心的网络性能评估方法研究l... lDTN架构及技术需求l网络建模总体要求l数据域技术要求l能力等级及评估方法l接口和协议要求l网络协议孪生技术要求等l... 已在《自动化学报》，IEEE CLOUD，DTPI，ICCT，《Digital Twin》等期刊和会议发表9篇论文，其中《数字孪生网络（DTN）概念，架构及关键技术》入选2022年度“领跑者5000”顶尖论文 4、算网数字孪生：标准化推进（2/3） 构建算网数字孪生技术体系，在国内外标准化组织ITU-T、IETF，CCSA中完成多个立项，推进数字孪生网络标准化 ITU-T：需求架构、能力评级等 CCSA：全面合作推进 IETF：架构及关键技术 •2020年，在IRTF牵头开启DTN标准化研究•2022年3月在NMRG组完成《DTN概念及架构》立项，得到多家单位支持，DTN概念、架构、应用场景和价值已形成共识•DTN已成为NMRG当前三大研究方向之一•目前6个项目在研，产学研共同推进：中国移动、西班牙电信、华为、法国电信、UPC大学、日本信息与通信研究院等 •2021年10月，在TC3牵头成立“数字孪生网络”子工作组，凝聚国内DTN研究力量，推进DTN技术标准化布局•作为DTN子组组长单位，牵头总体技术、数据服务等4项行标推进；•联合联通、华为、中兴、中信科等单位推进路由控制、评估方法等11个在研项目 •中国移动作为数字孪生网络DTN的首倡者，2019在ITU-T SG13完成DTN首个标准立项•2022