分布式推理网络（DIN）技术白皮书

（2025年） 中国移动通信有限公司研究院 前言 2025年1月20日，深度求索（DeepSeek）公司自主研发的国产大模型DeepSeek-R1模型以极低成本实现了与国际顶尖AI模型相当的性能，凭借出色的性能和易用性快速扩张。随之而来的海量并发用户访问请求，造成服务器资源迅速耗尽，DeepSeek多次出现网页和API无法访问的情况，用户在使用其服务时，频繁收到“服务器繁忙，请稍后再试”的提示。同时，DeepSeek的火爆出圈也吸引了攻击者使用多种网络攻击技术和手段持续进行攻击。随着普惠AI推理时代的到来，需要考虑以AI模型和AI推理为中心构筑互联网，网络也将面临新的网络流量模式的变化。实现普惠AI和AI推理大规模应用面临AI推理基础设施能力不足，AI推理网络技术待完善，AI服务网络安全防护能力待提升等挑战。 中 国 移 动 提 出 面 向 普 惠AI服 务 的 新 型 分 布 式 推 理 网 络（DistributedInferenceNetwork，DIN），融合运营商网络协议可编程和流量感知调度能力的优势，支撑中心、边缘或边云协同部署等多种分布式方式的推理架构，挖掘算网一体安全推理、边云协同后训练、模型分层协同、大小模型协同、训推协同进化、PD分离协同等多种端边云协同模式，研究推理网络保障技术、推理服务调度技术、推理安全防护技术等关键技术，解决大模型集中化部署模式下的大规模并发推理能力不足的问题，构筑多维度安全能力，从而有效应对亿级海量用户并发推理挑战并实现安全高效的AI推理服务。 未来中国移动在分布式推理网络方面，将联合产业界重点拓展应用场景，构建融合端、边、网、算的DIN技术体系，解决AI推理在个人（ToC）、家庭（ToH）及企业（ToB）应用中的成本、效率、安全与场景适配难题，加速全社会普惠AI时代到来。 目录 前言.............................................................21.业务发展趋势与挑战..............................................51.1AI大模型发展趋势...........................................51.2AI时代网络流量变化.........................................51.3AI普惠时代面临的挑战.......................................62.推理业务服务模式及网络需求......................................82.1ToB推理服务................................................82.1.1算网一体安全推理服务.................................82.1.2边云协同后训练.......................................92.1.3模型分层协同........................................102.2ToC/ToH协同推理服务.......................................112.2.1大小模型协同........................................112.2.2训推协同进化........................................122.2.3PD分离协同..........................................133.分布式推理网络（DIN）架构及设计目标............................154.分布式推理网络（DIN）关键技术..................................164.1节点间互联质量保障技术....................................164.1.1微流级流控技术......................................164.1.2层次化细粒度切片技术................................174.1.3推理业务识别技术....................................184.2推理服务的调度技术........................................194.3模型推理安全防护技术......................................194.3.1以太网相干PHYSec技术...............................194.3.2拒绝服务流量防护....................................214.3.3基础设施轻量化APT监测能力..........................225.总结与展望.....................................................236.缩略语.........................................................24 1.业务发展趋势与挑战 1.1AI大模型发展趋势 2025年1月20日，深度求索公司自主研发的DeepSeek-R1模型震惊世界，以极低的成本实现了与国际顶尖AI模型相当的性能。人工智能大模型技术的飞速发展，正在深刻改变人类社会的生产生活方式，对物理世界、虚拟世界和生命世界带来全方位的影响，加速人类社会从信息社会向智能社会演进。当前出现两个重要趋势： 趋势一：AI普及速度显著加快，推理成本迅速降低，用户从访问内容向访问AI模型转变。DeepSeek-R1大模型的表现达到了行业领先水平，推理速度提升4倍，API调用成本仅为GPT-4-Turbo的近百分之一。从DeepSeek发布后不到一个月的时间，日活用户量DAU也在短短一个月的时间内从100万迅速突破3000万，增长速度刷新了行业纪录。据不完全统计，国内外已有50+企业宣布接入DeepSeek，涉及网络安全、汽车、智能硬件、金融行业、芯片制造、云服务提供商等各行业，通过与应用深度集成，AI大模型正在从聊天工具向生产生活工具演进，预计会形成不可逆的新业务场景。 趋势二：AIAgent无处不在，Agent之间的通信会显著增长。普惠AI推理进一步推动AI智能体需求爆发，逐步演进为具备更高自主性和协作能力的泛在多智能体系统，如Manus发布多AI Agent协作效果视频，OpenAI推出的Operator智能体展现自主执行多任务能力。为协同完成如供应链管理、金融等复杂任务和高效决策，Agent之间会产生大量去中心化的、高度实时、安全敏感的通信流量。 1.2AI时代网络流量变化 云计算时代以云为中心构建互联网，互联网流量增加东西向流量承载，发展出SRv6等网络技术。随着AI推理时代的到来，大量应用、IoT设备以及未来AI智能体等交互式访问AI推理服务，以及AI模型分发模式的变化、AI训推一体化等技术的发展，需要重新考虑以AI模型和AI推理为中心构筑互联网，网络将面临新的网络流量流向和流量模式变化，需要应对普惠AI时代新的业务模式，发展新的网 络技术。 端云多模态交互带来南北流量持续增长。随着AI智能体、智能终端的普及，以及AI推理服务的开放化和普惠化，多模态交互需求和云端推理需求激增，用户侧与云侧南北向流量将快速增长。根据预测，到2030年，仅在中国市场AIToken引发的日均网络流量将达到500TB，是当前全国移动网络日均总流量的5.5倍。 Agent间交互带来东西向流量持续增长。随着AI技术的不断进步，多Agent系统、AI模型的分布式训练和推理架构逐渐成为研究和应用的热点，这些系统由多个具有自主决策和交互能力的Agent组成，他们之间需要进行频繁的通信和协作以完成复杂任务。如在金融风控系统中，信用评估Agent需与反欺诈Agent实时交换数据，游戏场景中更强的AINPC智能体通过Multi-Agent架构实现动态交互。这种多智能体间的交互会产生大量的东西向流量。 复杂推理任务对时延提出新要求。在运行复杂推理任务时，往往需要多步骤交互，在通算、智算、存储等系统之间形成高频率流水线调用，对时延提出严苛要求。例如，当用户向一个AI智能体发出“规划一次旅行并预订相关服务”的指令时，AI智能体首先需要通过通信网络获取用户位置、偏好等信息，然后调用智算资源进行数据分析与旅行方案规划，进一步通过通信网络与各旅游服务供应商的Agent系统交互来完成预订操作。在这一系列过程中，如果时延过高，用户体验将受到极大影响，可能导致用户放弃使用该服务。 1.3AI普惠时代面临的挑战 DeepSeek访问量峰值超过4900万次/日，海量的并发用户访问请求，造成服务器资源迅速耗尽，DeepSeek多次出现网页和API无法访问的情况，用户使用时经常遇到“服务器繁忙，请稍后再试”的问题。2月6日DeepSeek官方宣布，由于服务器资源紧张，已暂时停止API服务的充值功能。 DeepSeek的火爆出圈也吸引了攻击者使用多种攻击技术和手段，持续进行攻击。2025年1月28日，DeepSeek发布公告称，其线上服务遭遇大规模恶意攻击，导致平台注册繁忙。网络安全公司奇安信通过监测发现，攻击从最初的放大攻击演变为更难防御的HTTP代理攻击，并在1月30日凌晨升级为由僵尸网络主导的攻击，攻击烈度相比1月28日暴增上百倍。 结合我国信息通信行业发展、DeepSeek的情况以及未来智能体等交互式AI推理服务来的流量模型变化等可以看到，要实现AI普惠面临3大挑战： 挑战一：AI推理基础设施能力不足。我国是全球最大的移动和宽带网络规模的国家。全国移动电话用户、宽带接入用户以及移动物联网用户数分别为17.9亿、6.7亿和26.56亿。当十亿级体量的访问并发时，由于AI服务器和网络资源不足，将导致大量推理服务请求失败。 挑战二：AI推理网络架构及技术待完善。为解决十亿级用户/API对推理大模型访问问题，需要在企业/个人用户/IoT设备/智能体与算力资源之间，构建一张高效并发访问AI服务的分布式AI推理网络，支持可靠、稳定的确定性体验保障能力，实现“智能无处不在”的发展愿景。 挑战三：AI服务网络安全防护能力待提升。针对AI平台、AI模型、AI应用及模型参数、KVCache等数据在分布式链路传递过程中的安全威胁日益凸显，包括数据安全与隐私泄露、数据篡改、资源滥用与恶意攻击、模型窃取与训练任务中断等风险。尤其是在DDoS攻击频发的情况下，须抵御大规模有组织网络攻击。 2.推理业务服务模式及网络需求 AI普惠时代激发2B、2C、2H领域衍生多样化推理服务范式，需要云边端协同一体实现AI推理的低时延、高精度以及泛在接入服务，对网络能力提出了前所未有的挑战。 2.1ToB推理服务 2.1.1算网一体安全推理服务 面向政务、金融、医疗等对数据安全性要求极高的行业，例如政务行业涉及大量社会经济数据、人口数据、公共安全数据通过模型推理支撑发展战略决策依据，金融行业通过金融大模型实现信贷风险评估与反欺诈分析，医疗行业对影像数据、病历数据等进行分析辅助医生诊断，以及病房、手术室、ICU等区域开展感染风险防控，需提供数据安全访问能力，防止数据泄漏。 考虑到设备和运维成本、计算资源共享、数据集中管控等因素，在部门/企业总部部署推理一体机/服务器，分支机构可通过互联网、专线等方式安全访问推理服务。由于推理服务涉及上述场景中安全隐私性要求极高的数据，为了防止数据泄露，需要提供分支到总部的高安全互联访问通道，特别是通过互联网访问时需要对通道进行加密。中国移动原创融合Overlay和Underlay网