2023数据快递技术白皮书

编制人员 编写单位： 中国移动通信有限公司研究院、中移信息技术有限公司、中移（苏州）软件技术有限公司、中国移动通信集团北京有限公司、中国移动通信集团湖南有限公司、中国移动通信集团浙江有限公司、中国移动通信集团广东有限公司、中国移动通信集团江苏有限公司、中国移动通信集团贵州有限公司、中国移动通信集团宁夏有限公司、华为技术有限公司 参编人员： 陆璐、孙酒、李志强、刘鹏、杨红伟、赵广宇、杜宗鹏、储琴琴、许豪豪、元鑫、徐硕、张飞、车轮奔、莫韦蓬、符康、蒋艳明、黄舒吴、李学敏、梁巍、庆祖良、郭吴明、田智、王萍、饶倩胤、曹仕礼、黄金明、黄璐、张军林、段临晶 信息通信领域的领先运营商，充分发挥中央企业“网络强国、数字中国、智慧社会”主力军的作用，系统打造以5G、算力网络、智慧中台为重点的新型信息基础设施，创新构建“连接+算力+能力”新型信息服务体系，制定了算力网络总体发展策略，明确了核心理念、场景展望、发展路径以及技术体系，提出了“泛在协同”、“融合统一”和“一体共生”的三个发展阶段，先后发布《算力网络白皮书》[、《算力网络技术白皮书》[}及《算网一体网络架构及技术体系白皮书》3，持续推动我国数字经济的健康发展。 数据快递是面向海量数据在线高效传输的网络服务，依托中国移动强大的算力网络基础设施，可提供数据快递站和直通两类业务模式，结合高吞吐、高弹性、高安全、低时延等关键技术，最大化提升数据在线传输效率，为用户提供专线传输、聚合传输、错峰传输差异化数据传输服务，助力数字中国、东数西算等国家战略的实施。 本白皮书详细描述了数据快递产生背景及驱动力、典型应用场景、方案架构和技术体系，并对数据快递服务的产业发展给出了儿点倡议。 本白皮书的版权归中国移动所有，未经授权，任何单位或个人不得复制或持贝本白皮书之部分或全部内容。 目录 前言 1背景及驱动力 1.1产业驱动1.2技术驱动 2.1云间灾备2.2影视剪辑2.3科学计算2.4基因测序2.5家庭宽带 3.11套技术架构3.22类业务模式103.33种服务能力，11 4“三高一低”技术体系1.4 4.1高吞吐技术14 4.2高弹性技术16 4.3高安全技术.17 4.4低时延技术 5产业发展倡议20 B缩略语表23 1 背景及驱动力 求日益增多，同时多云数据备份、数据异地上云等场景对在线数据迁移的效率提出更高要求，实现海量数据在广域网高吞吐传输成为迫切需求。 1.1产业驱动 随着数字经济的蓬勃发展，应用场景多样化和数据爆炸式增长的趋势越发明显，海量数据分析处理的需求愈发强烈。在国家“东数西算”战略推动下，数据中心作为数字经济发展的关键基础设施，正处于高速发展阶段，已逐步形成“网络+计算”的规模扩张双引擎。为适应当前数据中心面临的巨大变革，数据网络传输带宽也不断增加。伴随着数据中心数据量和复杂性的指数级增长，性能问题逐渐凸显，特别在高性能计算、无人驾驶、AI大模型和工业现场网等多样化泛在算力场景下，数据上云和云上处理越来越成为数据处理的主要形式。多样化泛在算力需求便得数据的生产端、处理端和便用端被此交错，数据流通量剧增，而数据传输效率将直接影响算力供给效率。众多海量数据上云，以及用户多端、多地和多场景接入的不确定性，带来大流量突发、时延变化范国围大和可靠性难以保障等新挑战。为此，需要采用新型的数据传输关键技术，以实现算力网络基础设施的“降本增效”，提升数据中心计算效率、为“东数西算”数据底座提供有力支撑 1.2技术驱动 传统的TCP/IP网络难以满足广域数据传输的性能需求，为了保障用户的服务体验，需要从端、网多技术协同改进。在广域网数据传输的场景中，用户需要传递的数据量较大，传输距离较远，且希望有较高的速率。而传统的TCP技术随着传输距离变长、丢包率的上升，有效吞吐急剧下降，而且TCP对所有的流、所有的场景一视同仁，并不会对广域网数据传输做性能优化。这种标准化的“公平”实现，也导致TCP在广域网数据传输时展现出糟糕的性能间。广域网通常基于IP转发，而IP的统计复用和尽力而为的设计策略，导致网络中存在着拥塞和丢包。这些都会严重影响TCP对于网络环境的感知，从而导致TCP难以充分利用网络资源，尤其是在高带宽、高时延的网络中。因此，在广域数据传输时，需要对传输层进行性能优化，在保障高可靠的同时提升吞吐，以应对海量数据的长距离传输：需要在网络层提供更好的网络环境，以减少网络中的拥塞和丢包。此外，在广域数据传输时，也需要综合考患端侧和服务器侧的I/O能力，进行体系化的技术创新，以优化用户的使用体验；在用户接入侧考虑使能弹性带宽、动态存储，来方便用户的传输业务，以构建创新的商业模式。 2 典型应用场景 2.1云间灾备 随着云计算产业的高速发展，云数据中心承载了企业IT的各项业务，海量增长的数据给存储、传输和保护带来新的挑战，做好应用数据灾备，是保障企业数据安全和业务连续的必要手段。以运营商话务数据灾备为例，单个IT云资源池每天的数据备份量在TB级别。主备数据中心一般是异地建设，数据传输距离较长，而且数据量较大，但对数据传输时效性要求不高，可利用网络潮汐效应在空闲时段传输。如何提高数据传输效率、降低数据传输成本，对企业降本增效、增强市场竞争力具有重要意义。 2.2影视剪辑 影视综艺节目的拍摄素材需要经后期制作公司剪辑、谊染，由于拍摄地不固定，需要根据拍摄和制作周期将拍摄素材批量传输至后期制作公司所在地。 一部大型综艺或影视节目的原始素材数据量是PB级别，单次传输的数据量在10TB~100TB量级，采用人工硬盘快递方式存在两次数据拷贝（源端上传、目的地下载）以及人工搬运（乘坐飞机或高铁搬运磁盘阵列），每次行程需要2~3天，且需要专人操作，时效性差、效率低。如何充分利用网络能力，通过在线传输为音视频行业提供便捷的线上数据搬移服务，满足时效性的同时，减少人工投入成本，对网络提出了新的挑战。 2.3科学计算 智算和超算快速发展，中国在此领域已经达到了国际先进水平17，但智算和超算中心大数据导入、导出缺乏高效低成本方案，尤其在支撑天文、气象等科学计算场景。以FAST天文数据计算为例，FAST每年约200多个[8观测项目，单项目产生观测数据量TB~PB量级，年产数据约15PB。如果数据导出采用人工方式，由于缺乏专人专岗负责数据拷贝操作，数据导出申请可能被滞后数月处理，再加上数据传输和目的地数据导入操作非常耗时，将极大影响数据获取的时效性。面向科学计算海量数据异地迁移场景急需一种高效、经济的数据在线传输方案。 2.4基因测序 基因测序技术日趋成熟，使得测序时间大幅缩短，应用得到全面推广，可面向科研机构、医疗服务机构或个人提供各类基因测序与数据分析服务。传统基因测序以本地实验室分析为主，时效性与规模受本地算力资源约束而难以提升，基因测序数据上云逐渐成为行业趋势。国内某基因公司基因测序数据量100PB/年，上云数据量是TB~100TB量级/次，基因测序数据源和超算云数据中心之间通过固定带宽的专线连接，价格较高，缺乏更高效低成本的数据传输方案。 2.5家庭宽带 家庭新业务（如多维视频和云业务）的涌现，带来突发大流量、低时延和高可靠性等网络传输需求。以VR场馆和VR视频为例，终端输出1080P画质时，内容源进入GPU资源池处理，GPU流化到用户端，单用户需要40M带宽，一台GPU服务器按60路并发，3台总共7.2G并发带宽，由于用户接入的随机性和突发性，数据传输具有临时、突发和大流量需求的特点。为此，如何通过高效、便捷、经济的方式将突发大流量数据从内容源传送到用户端，充分挖掘城域网的数据管道价值，提升运营商网络效益，是数据快递要解决的核心问题之一。 分析和总结以上典型应用场景，存在以下共同特征： 单次传输数据量较大：TBPB量级。2.流动频次较多：有定期或不定期数据传输需求，峰值带宽要求高。3.实时性要求不高：主要是温冷数据，非强实时热数据，但传输完成时间越快越好。成本敏感：客户不想单独开高带宽专线，因为传输频次不定，网络利用率和性价比不高。 对于此类数据传输场景，传统专线和人工硬盘快递都难以很好的满足用户需求。本方案为用户提供了灵活弹性、高效经济的广域高吞吐数据传输服务。 3 “1+2+3”解决方案 数据快递是一种高效、经济、安全、可靠的海量数据传输服务。它基于IP网络构建高弹性、高吞吐的数据传输网络，并利用弹性带宽、负载均衡、安全加密等技术，为客户提供更卓越、高效的数据传输体验，实现任务式算网新服务。 传统的海量数据传输方案包括人工硬盘快递和专线在线传输[9][10][][12]。 1人工硬盘快递：由专人在数据源执行下载，然后通过物流快递或者专人运输，最终在数据消费端执行上传操作，过程耗时较长，操作繁，且硬盘有损坏和丢失风险。 2.专线在线传输：当用户使用低成本的小带宽专线时，大批量数据传输太慢，时效性很差，影响使用：当使用高成本的大带宽专线时，对于很多不定期批量数据传输场景，专线利用率不高，当前按月固定带宽收费模式性价比较低。因此，存在“低带宽等不起，高带宽用不起”的困局，限制了数据迁移的效率与规模。 随若互联网技术的发展，IP网络作为连接世界的基础设施，具备了天然的弹性和高吞吐潜力，为构建高效的数据快递解决方案提供了有力支持。本百皮书充分利用IP网络的统计复用、弹性供给等优势，构建基于IP网络的高弹性、高吞吐数据快递解决方案。 3.11套技术架构 数据快递解决方案实现数据源端到目的端的海量数据传输。数据源是指产生或存储大量数据的设备或系统，例如企业服务器、数据库、存储设备等。数据源可以是分布在不同地域和网络环境的多个节点，也可以是集中在一个地点的单个节点。数据目的端是指接收或处理大量数据的设备或系统，例如云计算平台、智能计算中心、超级计算中心等。数据目的端可以是第三方提供的公共服务，也可以是数据快递运营商自建的云数据中心。 基于数据源端到目的端的海量传输需求，按照分层思想设计数据快递解决方案总体架构，主要包括云专网基础设施、网络控制器和数据快递运营平台三部分，如图3-1所示。 1.云专网基础设施 云专网是中国移动为更好的向客户提供云服务而构建的一张高品质网络，数据快递可借助云专网基础设施为客户提供高品质的数据传输服务，并根据现网网络资源情况通过SPN、PON、光纤直连等方式接入不同的数据源端和数据消费端，实现网络资源的动态调度和优化，保障数据传输的质量和效率。其中，SPN因为接入带宽较大、支持弹性带宽配置以及覆盖较广，是数据快递推荐接入方式。 2.网络控制器 网络控制器包括SPN、云专网等不同领域的网络控制器，其根据业务平台需求完成网络配置，实现数据快递业务的全流程自动化和智能化开通。主要功能包括： 网络配置：根据用户的网络需求和场景，自动或手动配置网络拓扑、路由、安全策略等参数，实现网络的灵活和可定制。信息收集：实时收集和分析网络的性能、质量、安全等指标，为用户提供数据快递业务的优化和改进建议。网络监管：对网络进行实时监管，发现和处理网络故障、攻击、泄露等异常情况，保障数据传输的安全和稳定。 3.数据快递运营平台 运营平台是指为用户提供一站式数据快递服务管理和监控功能的在线平台，为用户提供业务订购、开通、监控、计费等功能。运营平台可以通过网页或移动端访问，实现数据快递业务的全程可视化和智能化。主要功能包括： 业务订购：用户可以通过运营平台在线订购数据快递业务，选择数据源、目的端、传输方式、传输时间等参数，生成业务订单。业务开通：用户可以通过运营平台在线开通数据快递业务，根据订单信息，自动或手动配置数据源、目的端、网络资源等，启动数据传输任务。业务监控：用户可以通过运营平台在线监控数据快递业务，实时查看数据传输的进度、状态、速率、质量等指标，及时发现和处理异常情况。业务计费：用户可以通过运营平台在线计费数措快递业务，根据数据传输的量、时长、带宽等因素，按照预设的计费规则，生成和支付费用账单。