分布式推理网络（DIN）技术白皮书

分布式推理网络（DIN）技术白皮书总结

1. 业务发展趋势与挑战

1.1 AI大模型发展趋势

• DeepSeek-R1模型突破：2025年1月20日，DeepSeek-R1模型以极低成本实现与国际顶尖AI模型相当的性能，推理速度提升4倍，API调用成本仅为GPT-4-Turbo的近百分之一。
• AI普及加速：用户从访问内容向访问AI模型转变，DeepSeek日活用户量DAU在一个月内从100万突破3000万，增长速度刷新行业纪录。
• AI智能体（Agent）爆发：AIAgent需求爆发，Agent间通信显著增长，推动去中心化、高度实时、安全敏感的通信流量增加。

1.2 AI时代网络流量变化

• 南北向流量增长：端云多模态交互导致南北向流量持续增长，预计到2030年，中国AIToken引发的日均网络流量将达到500TB。
• 东西向流量增长：多Agent系统、AI模型分布式训练和推理架构推动东西向流量持续增长。
• 时延要求提升：复杂推理任务对时延提出严苛要求，例如用户指令处理需要多步骤交互，时延过高将影响用户体验。

1.3 AI普惠时代面临的挑战

• AI推理基础设施能力不足：十亿级访问并发时，AI服务器和网络资源不足导致大量推理服务请求失败。
• AI推理网络架构及技术待完善：需要构建高效并发访问AI服务的分布式AI推理网络，支持可靠、稳定的确定性体验保障能力。
• AI服务网络安全防护能力待提升：AI平台、AI模型、AI应用及模型参数、KVCache等数据在分布式链路传递过程中的安全威胁日益凸显，包括数据安全与隐私泄露、数据篡改、资源滥用与恶意攻击、模型窃取与训练任务中断等风险。

2. 推理业务服务模式及网络需求

2.1 ToB推理服务

• 算网一体安全推理服务：面向政务、金融、医疗等对数据安全性要求极高的行业，通过“推理一体机/服务器+智享WAN”的安全推理产品，提供算网一体安全推理服务。
• 边云协同后训练：通过以租代买，租用部分云端算力，与本地算力跨广域协同完成模型后训练（PostTraining）微调，降低企业本地部署成本，并保证数据安全。
• 模型分层协同：通过SplitLearning技术对模型进行切分，将模型的前几层与后几层部署在企业边缘节点上，其他层部署在云端，实现数据隐私保障的边云协同推理。

2.2 ToC/ToH协同推理服务

• 大小模型协同：大模型与小模型协同工作，兼顾推理精度和效率，提升系统的智能弹性，包括能力调度、推理加速、场景自适应策略等。
• 训推协同进化：云端模型通过蒸馏得到多个小模型并部署到不同边缘节点，边缘节点使用小模型进行推理，并将推理过程收集的高价值数据反馈给中心大模型进行训练调整优化。
• PD分离协同：将计算密集型的Prefill任务放在中心节点执行，尝试将访存密集型的Decode任务部署在边缘节点上，提升边缘节点的推理服务体验。

3. 分布式推理网络（DIN）架构及设计目标

• DIN架构：采用分布式架构，实现端、边、网、算的有效协同，提供差异化、高安全、高并发、高频率、高突发的网络连接服务保障。
• 设计目标：
  • 可扩展架构：具备弹性扩展、高效交互、智能调度等能力，为用户提供无处不在的低时延推理服务。
  • 确定性连接：提供确定性、低时延、高并发的极致性能保障，实现广域丢包率小于10-9、微秒级抖动的数据传输能力。
  • 多层次安全：具备多层次安全防护能力，实现数据全链路加密与隐私保护，动态抵御网络攻击。

4. 分布式推理网络（DIN）关键技术

4.1 节点间互联质量保障技术

• 微流级流控技术：通过网络设备中部署租户级和业务流级的队列隔离，为每个用户队列设定反压阈值，并能实时感知网络的拥塞状况，实现用户队列的零丢包弹性传输能力。
• 层次化细粒度切片技术：通过G-SRv6融合网络切片、随流检测技术，构建端到端确定性质量保障体系，实现差异化业务SLA的精准承诺与动态优化。
• 推理业务识别技术：通过ARN技术识别出需要推理服务的具体应用，基于应用识别的结果为业务提供满足诉求的推理服务。

4.2 推理服务的调度技术

• 模型调度：根据用户需求、设备性能、网络状态等多维度因素，动态分配和优化模型资源，以实现高效、低延迟的模型推理服务。
• 调度方案：包括集中式和分布式两种方案，集中式由DNS解析到DIN调度器，再分配最佳DIN节点IP地址；分布式采用算力路由方案，基于“算力+网络”的多因子联合调度算法，将业务沿最佳网络路径调度到目的推理服务节点。

4.3 模型推理安全防护技术

• 以太网相干PHYSec技术：将现有密码学方法与以太网物理层技术融合，具有保护用户全栈信息、掩盖流量特征的高安全链路防护能力。
• 拒绝服务流量防护：利用嵌入式AI技术，在检测与处置两方面提供抗DDoS服务，做到恶意流量快速感知、自动阻断。
• 基础设施轻量化APT监测能力：基于“白+黑”模式的轻量化入侵检测技术，通过结合路由器的正常业务行为与APT攻击知识库，构建多维攻击检测系统，实现对隐蔽且持久的APT劫持攻击的全面威胁感知。

5. 总结与展望

• 未来展望：多Agent技术、具身智能技术、IoT与AI深度融合等技术将推动AI产业发展，加速迈向全面智能社会。
• 中国移动计划：将继续发挥自身在算力网络领域的领先优势，联合产业界重点构建和完善融合端、边、网、算的DIN技术体系和标准体系，解决大模型在个人、家庭及企业应用中的成本、效率与场景适配难题，助力AI推理普惠化发展。