(ᬣА䓽㥒ੳ᪝ᢛহႅו᳣Ჱ⮪⯛Γ 5G时代运营商数据和存储架构白皮书目录目录CATALOGUE5G 时代运营商的机会和 IT 基础设施的挑战 1.1 5G 进入规模部署阶段，带来无限可能1.2 5G 时代运营商 IT 基础设施的挑战1 030303-035G 时代，运营商 IT 系统数据量将激增，数据存储效率要求更高2.1 生产域数据增量和访问模式变化2.1.1 计费系统——话单数据量增长 7.5 倍，计费时延要求更低2.1.2 2C 业务——视频高清化带来数据 10 倍增长，数据读写带宽要求更大2.1.3 OSS 运维——高密度网元和自动化运维使数据量暴增 8 倍， 运维效率要求更高2.2 分析域数据增量情况——大数据分析带来 5 倍数据增长，分析效率要求更高2.3 运营商总数据量增长2 0404-0504040505055G 时代数据海量增加，需要重定义数据基础设施3.1 5G 数据洪流对基础设施带来的挑战3.1.1 存不下——海量数据存储3.1.2 流不动——数据孤岛难题3.1.3 用不好——价值获取低效3.2 挑战应对方法3.2.1 改变 Silo 模式，重定义数据架构3.2.2 借力闪存升级，重定义数据性能和可靠性3.2.3 软硬双管齐下，重定义数据密度3.2.4 打破数据壁垒，重定义数据价值3 06-090606070708080809091 oPsPrMxOpPqNrMoOoPpQrN6McMbRnPmMmOmMfQrRmQjMnMqR9PoOvMwMoMsMvPmOsO5G时代运营商数据和存储架构白皮书2目录 总结5 22-225G 时代运营商数据基础设施4.1 5G 时代运营商的数据基础设施目标架构4.1.1 华为数据基础设施特性4.1.2 华为数据基础设施应对 5G 时代运营商挑战4.2 重定义数据架构—一池一湖解决方案4.2.1 一池：面向生产域的融合资源池4.2.2 一湖：面向分析域的智能数据湖4.3 重定义性能和可靠性—全闪存存储 OceanStor Dorado4.3.1 重定义性能：业界领先的性能，2,000 万 IOPS；0.1ms 时延4.3.2 重定义可靠性：高端存储可靠性新标杆4.4 重定义数据密度—业界超高密分布式存储标杆4.4.1 超高密度存储节点4.4.2 超高存储利用率 4.4.3 智能散热，单 TB 功耗最优4.5 重定义数据价值—FusionData 解决方案，打破数据孤岛，释放数据价值4.5.1 存算分离实现计算存储资源按需灵活配置，整体 TCO 下降 30%4.5.2 融合分析提升分析效率提升 50 倍4.5.3 数据虚拟化提升开发效率 3.5 倍4.6 智能数据，面向未来4 1313131515151718181818191919202010-201011 5G时代运营商数据和存储架构白皮书35G 时代运营商的机会和 IT 基础设施的挑战5G 时代运营商的机会和 IT 基础设施的挑战2019年，全球5G建设已经如火如荼。全球几十家Top国家和国际化电信运营商纷纷宣布5G商用，其中包括Vodafone，T-Mobile，TIM，OOredoo 等，在国内，2019 年 10 月 31 日，中国移动，中国电信和中国联通三大运营商公布 5G 商用套餐，并于 11 月 1 日正式商用，运营商用实际行动向世人宣告 5G 时代的到来。5G应用的主体不仅仅在消费市场，同时更在行业市场，其发展潜力是运营商投资未来的信心。5G可以给运营商带来： ●5G给消费者带来更多的业务和更好的体验。5G的高带宽使消费者更好地使用视频通信，使VR、AR等新业务成为可能，同时5G的低时延也给消费者带来了更好地的业务体验。5G也激发了更多的业务创新，给消费者带来更多更好的业务。 ●5G 可以使能垂直行业。5G 的到来正让万物互联变得可能，5G 可以使能更多的垂直行业，如行业视频监控，车联网，智能制造，远程医疗等，更多的行业使能给运营商带来了新的业务增长点。 ●5G 可以带来新的商务模式转变。运营商可以通过 5G 带来新的业务和使能垂直行业的方式，通过创新的商业模式，有效改变运营商当前收入结构单一的问题。由于5G技术的发展和5G带来新业务的发展，运营商的数据量将爆发增长，运营商的传统IT基础设施将面临诸多挑战。 ●5G 的“高带宽”和“低时延”特性使得单位时间内产生的数据量急剧增长，海量原始数据将被采集。 ●5G 的“低时延”特性要求 IT 基础设施具有更好性能，更低的访问时延，从而满足客户极致体验的需求。 ●5G 的“全连接覆盖”特性使得万物互联成为可能。相比 4G 时代主要用于人与人之间的互联，5G 时代物联网将得到较大程度的发展，人与物、物与物之间的连接将急剧增多，数据采集渠道讲更加丰富，如联网汽车、可穿戴设备、机器人等，这也对数据存储与采集技术提出更高要求。 ●5G 时代下运营商的超高清业务、VR/AR 业务相比传统的高清业务需要更多的存储空间和更高的并发读写能力。 ●在 5G 时代下，运营商需要对现有的的 IT 基础设施进行升级来满足日益增长的业务诉求。1 1.1 5G 进入规模部署阶段，带来无限可能1.2 5G 时代运营商 IT 基础设施的挑战 5G时代运营商数据和存储架构白皮书42 5G时代，运营商IT系统数据量将激增，数据存储效率要求更高5G 时代，运营商 IT 系统数据量将激增，数据存储效率要求更高运营商的 IT 系统和其他的行业相比更加的复杂。运营商的 IT 系统可以分为生产域和分析域。生产域包括 BSS（含CRM，计费，2C 和 2B 的增值业务等）、OSS 和 MSS，分析域主要是面对生产域的大数据分析。下面以典型 IT 系统的情况来说明 5G 时代下数据的增量以及数据访问模式的变化。2.1 生产域数据增量和访问模式变化2.1.1 计费系统——话单数据量增长 7.5 倍，计费时延要求更低5G 网络，带宽增加，时延更低，给计费系统带来的变化是每用户的 DoU 增加，导致用户的话单数增加，计费库数据量增加，同时计费时延相比 4G 网络要求更低。对应到数据存储系统，要求 IOPS 更大，访问时延更低。以百万用户为例，4G百万用户到5G百万用户带来7.5倍的数据量增加，同时时延变为原来的1/8，时延是业务SLA 的保障关键。比较项4G 百万用户5G 百万用户改变 DoU 变化9.8 G55.9 G增加 5.7 倍话单数1.2 亿7.5 亿增加 6.3 倍每条记录大小1 K1.2 K*增加 1.2 倍计费库数据量10.8 TB81 TB增加 7.5 倍时延要求4 ms0.5 ms减少 7/8* 增加切片信息、QoS 信息导致每条记录大小变大2.1.2 2C 业务——视频高清化带来数据 10 倍增长，数据读写带宽要求更大5G 时代视频业务将成为主流，其收入也将成为运营商收入的重要来源之一。视频从高清 1080p 向超高清 4K 和 VR演进。一个小时 1080p 视频需要约 5 GB 存储容量，4K 则需要 15GB 存储容量，而 VR 则需要 180 GB 存储容量。以某视频业务规划为例，视频容量从 15 PB 增长到 152 PB，总数据量增长 10 倍以上。对应到数据存储系统，需要支持线性的存储扩展，需要支持更多的并发访问，需要支持更大的读写带宽。项目20182019202020212022 2023超高清比例01%5%15%25%35%视频数(万个)1700345052006950870010450视频时长 ( 万小时 )314612936125115661881容量 (PB)15304978112152 5G时代运营商数据和存储架构白皮书52.1.3 OSS 运维——高密度网元和自动化运维使数据量暴增 8 倍，运维效率要求更高部署 5G 网络时需要对热点区域补站，网元密度为原来的 1.25 倍，每网元 KPI 数量是原来的 1.2 倍，因此 OSS 基础数据量是原来的 1.5 倍。网元数增多，自动化运维成为必然，自动化网规网优需要更多数据。CHR 数据采样频率提高，每套网管数据流量从原来的 100 GB/ 小时提升到 275 GB/ 小时，同时分析从事后分析走向事前分析，保存时间从 7 天增加到 90 天。CHR 的数据量增加 35 倍（2.75 倍数据流量 *12.8 倍保存时间）。以中国某省的 OSS 系统部署计算，OSS 的数据量将增加 8 倍。自动化运维提升了运维效率，运维效率提升需要数据存储系统提供更好的数据处理效率以支持运维任务的计算处理。比较项4G5G 增加基站数（万）20251.25 倍OSS 基础数据量（PB）11 16.56.3 倍自动化网规网优 CHR 数据2.79535 倍合计 （PB）13.7111.58倍2.2 分析域数据增量情况——大数据分析带来 5 倍数据增长，分析效率要求更高随着运营商 BSS 域、OSS 域、各业务系统以及外部第三方数据源的数据量的增多，参与大数据分析的数据量也随之增加。同时为了更多的挖掘数据潜在的价值，数据保存周期也会增长，比如说从分析的数据从原来的 1 个月增加到 3~6 个月，大数据分析需要保存的数据量会进一步增加。以某运营商的大数据分析业务预计，2019 年大数据分析的数据量为 35 PB，预计到 2021 年，大数据分析的数据量将增加到 160 PB，数据增加近 5 倍数据量的增长。传统的大数据分析一般采用通用服务器的方式，计算和存储耦合在一起，导致计算和存储不能独立扩展，存在计算资源或存储资源浪费的情况，分析效率不高。大数据分析需要采用计算和存储分离的方式以提高分析效率。2.3 运营商总数据量增长根据IDC《数字化世界-从边缘到核心》的报告，全球运营商数据量预计从2018年的3 ZB扩展到2025年的15.75 ZB，预计数据量增长超 5 倍。巨大的数据量增量对运营商的数据基础设施提出了巨大的挑战。全球运营商数据量3 ZB201815.75 ZB2025source:IDC《数字化世界-从边缘到核心》5G 时代，运营商 IT 系统数据量将激增，数据存储效率要求更高 5G时代运营商数据和存储架构白皮书65G 时代数据从管理走向运营，需要重定义数据基础设施5G时代数据从管理走向运营，需要重定义数据基础设施3.1 5G 数据洪流对基础设施带来的挑战海量数据蕴含巨大的价值，也给基础设施带来了前所未有的挑战。目前大多数运营商仍然采用 Silo 式建设，针对不同的业务域，甚至不同域的不同子业务采购不同的数据和存储，以满足不同应用不同客户对数据的各类存算取用需求。如下为运营商的典型数据架构，经多代历史遗存后，设备多、版本多、垃圾数据多、功能复杂等问题不断放大,数据存不下、流不动、用不好成为了运营商数据应用最普遍的难题。3.1.1 存不下——海量数据存储传统架构已无法适应 5G 数据爆发性增长，体现在以下三点： ●扩展性不足：传统集中式存储本身并不是为海量数据而设计，其扩展性有限，scale-out 能力尤其不足，即使高端存储也很难达到 PB 量级。运营商不得不采购多套存储满足日益增长的需求。 ●协议类型单一：随着视频、物联网等业务扩张，80% 的新增数据由各类音视频、日志等非结构化数据构成，非结构化数据逐步成运营商数据的主体。然而传统存储协议类型单一，无法同时满足块、对象、文件、大数据等多样性数据的存取需求，企业不得不为每一种新的数据类型新增一种存储设备，数据之间也难以互通共享。 ●成本高昂：出于合规等原因，运营商的日志类或大数据分析类数据必须长期保存，因为其存储量很大，也会导致存储成本极高。如 2017 年起，某中国的移动运营商因合规性要求，将日志文件的保存周期从 2 个月增加至 6 个月，这意味着其存储设备规模将增加至少 2 倍。因为该运营商采用 Hadoop 架构，也就意味着必须为此增加 2 倍的服务器。服务器因存储需求不断扩容，CPU 的使用率却始终处于较低的状态，资源得不到合理利用，无疑会对