数据基础设施白皮书

数据基础设施白皮书2019 目录目录数据正在成为数字经济发展关键生产资料数据应用的现状总结构建数据基础设施迎接变化与挑战总结与展望020711201.1 数字经济蓬勃发展，深刻改变了生产、生活方式1.2 数据的有效应用正成为经济社会发展的强劲驱动力1.3 新技术持续推动数据爆发增长------------- 03----------- 04------------------------- 05-------------- 08-------------------- 08--------------- 09-------------------------------- 12-------------------------- 132.1 存不下——数字化浪潮下的海量数据存储挑战 2.2 流不动——由来已久的数据孤岛难题2.3 用不好——数据供应不足造成应用复杂低效3.1 数据基础设施定义 3.2 数据基础设施的特征与趋势3.2.1 融合3.2.2 协同3.2.3 智能3.2.4 安全3.2.5 开放 前言前言人类社会几千年来经历了农业经济、工业经济，如今已经进入到数字经济时代。根据联合国《2019年数字经济报告》的统计，数字经济的规模估计占全球生产总值的4.5%至15.5%之间，其中中国和美国是引领世界数字经济发展的核心。《中国互联网发展报告2019》指出，2018年，中国数字经济规模达31.3万亿元，占GDP比重达34.8%，数字经济已成为中国经济增长的新引擎，正在深刻改变全社会的生产和生活方式。虽然学界对数字经济的构成模式和理论体系还没有清晰的界定，但数据作为数字经济时代最有价值的生产资料已经是毋庸置疑的共识。云计算、大数据、物联网、移动互联网、人工智能等ICT新技术、新模式的发展和应用无一不是以海量数据为基础，又反过来带动了数据量的爆发式增长。就像石油的“采-运-炼-储-用”是工业经济的核心命脉一样，面向海量数据的“采-存-算-管-用”是支撑数字经济运行的基础能力。海量数据蕴含巨大的价值，也带来了前所未有的挑战，数据“存不下、流不动、用不好”成为了各行业数据应用最普遍的难题，以“融合、协同、智能、安全、开放”为特征的新型数据基础设施可以帮助各行业实现数据存储智能化、管理简单化和价值最大化，是推动各行业拥抱数字经济浪潮的关键因素之一。在此背景下，中国信息通信研究院和华为技术有限公司共同编写了《数据基础设施白皮书 2019》，力图从数据应用的现状与问题出发，总结数据基础设施的内涵与技术特征。在研究的过程中我们认识到，目前对数据基础设施的理解还是非常初步的，数据基础设施是涉及经济、技术，乃至社会发展的宏大命题，这本白皮书只是后续研究的一个起点。我们希望未来能够与产业界和各行业专家共同探讨、研究，不断厘清数字经济大背景下数据基础设施的概念与需求，更好的指导技术、产业和应用的发展。01 数据正在成为数字经济发展关键生产资料0102 数字经济成为经济发展新动能受国际经济形势与国内经济结构性改革等因素影响，从2007年起，中国GDP增速从14.2%回落到2015年起的6.9%，经济增速由高速转变为中高速，中国经济进入“新常态”。过去十年，中国数字经济的持续稳定快速发展，成为稳定经济增长的重要途径。2008年，我国数字经济占GDP比重仅为15.22%，2018年我国数字经济规模达31.3万亿元，占GDP比重34.8%，数字经济发展对GDP增长贡献率达到67.9%，超越部分发达国家水平。2008~2018年，我国数字经济增速显著高于同期GDP增速，并且自2011年以来，数字经济与GDP增速差距有扩大趋势，按照可比口径，2018年我国数字经济名义增长率为20.9%，高于同期GDP名义增速约11.2个百分点。随着数字化加速向传统产业融合渗透，数字经济对经济增长的拉动作用将愈发凸显。数字经济深刻改变了生产、生活方式移动互联网改变日常生活。中国已经成为全球最大的移动互联网市场，数据显示，截至2018年12月，中国手机网民规模已达8.17亿，用户需求的巨大网络效应带来了一系列广泛的创新，电子商务、网络支付、共享单车、人工智能等新兴领域正迅速重构每一个中国人的生活方式，从而形成日常生活中的数字浪潮。以电子商务为例，十年前中国的零售电商交易额不到全球总额1%，如今占比已超过40%，超过法、德、日、英、美五国的总和。来源：《中国数字经济发展与就业白皮书（2019年）》40%30%20%10%0%数字经济增速显著高于同期GDP增速2003200420052006200720082009201020112012201320142015201620172018数字经济增速GDP增速1.1 数字经济蓬勃发展，深刻改变了生产、生活方式数据正在成为数字经济发展关键生产资料03 数据是数字经济时代的核心生产要素社会已经迎来了继农业经济、工业经济之后的数字经济时代，如同农业时代的土地、劳动力，工业时代的技术、资本一样，数据已经成为数字经济时代的生产要素，而且是最核心的生产要素，数据甚至被认为已经超过石油的价值。数据驱动型创新正在向经济社会、科技研发等各个领域扩展，成为国家创新发展的关键形式和重要方向。数据有效应用推动经济社会发展各行各业加速数字化进程，对数据的有效应用成为关键。提高金融风控能力。美国银行2015年的一份调查研究指出，银行每创收100万美元，会平均产生820GB的数据，业务数据量高踞各行业之首，远超紧随其后的电信、保险和能源行业。银行是经营风险的行业，一方面，监管层对银行机构的风控能力提出很高要求，另一方面，风控直接会影响银行机构的利润水平。通过对海量数据的有效利用，能够在用户画像、反欺诈、信用评级等方面大大提高银行机构的效率和风控能力。 提高政府办事效率。以往，群众找政府办事，需要来回跑多次。通过进行数据共享、数据整合，打1.2 数据的有效应用正成为经济社会发展的强劲驱动力工业互联网赋能工业企业转型升级。工业互联网通过人、机、物的全面互联，实现全要素、全产业链、全价值链的全面连接，对各类数据进行采集、传输、分析并形成智能反馈，推动形成全新的生产制造和服务体系，优化资源要素配置效率，充分发挥制造装备、工艺和材料的潜能，提高企业生产效率，创造差异化的产品并提供增值服务。以国家电网公司为例，国家电网公司提出“泛在电力物联网”战略，把用户、企业、设备、供应商等人和物全部连起来，实现设备和状态的全面感知，通过把数据汇聚、共享，为用户、电网、供应商等提供数据服务，使数据为社会提供更多价值服务。以人为本提升社会发展。2017年12月，广东省率先在全国部署“数字政府”改革建设，以数据开放释放“数字红利”，极大提升政府治理能力现代化水平。基于“数字政府”统一基础设施，以数据为核心，盘活政府已有数据中心和社会化数据中心资源，通过数据汇聚、数据治理，建设结构合理、质量可靠的政务“大数据”体系。2018年9月，广东政务服务网正式上线，实现省、市、县、镇、村五级政务服务事项“应上尽上”、“一网通办”，变“群众跑腿”为“数据跑路”。04数据正在成为数字经济发展关键生产资料 GIV2025报告显示，到2025年，全球将产生180ZB数据。新技术的出现持续推动着数据增长与流动。4K/8K带来数据存储的需求量激增，以及极致稳定的读写高带宽的需求 当前，信息视频化、视频超高清化已经成为全球信息产业发展的大趋势。从技术演进来看，视频己经从标清、高清进入4K，即将进入8K、AR/VR时代。以广电行业为例，今年3月1日，工业和信息化部、国家广播电视总局、中央广播电视总台联合发布了《超高清视频产业发展行动计划(2019-2022年)》，提出坚持“4K先行、兼顾8K”的总体技术路线，到2022年，中国超高清视频产业总体规模将超过4万亿元。4K超高清的建设和应用，使广电行业IT基础设施在高可靠的基础上，向着高性能、低延迟、集约化的方向转型，尤其对存储平台的能力带来巨大挑战。4K超高清制播业务所产生的数据量比高清多出至少4倍以上，制播的各个环节，如视频剪辑、特效合成、渲染、调色、视频输出等，都需要海量的存储空间以及并发的读写能力。1.3 新技术持续推动数据爆发增长破多个部门之间的数据壁垒，来减少人工窗口、缩短审批流程，从而提高办事效率，减少排队等候的情况，更加便民。扩大企业生产效率。通过数据有效利用能实现企业各业务环节间的信息高度集成和互联，减少不必要的资源浪费。以制造业为例，制造业的研发、采购、物流、生产、库存、销售等环节会产生大量的数据，诸如各工序节拍信息、产品质量信息、发货和收货信息、物料流动信息、客户需求信息、人力资源需求信息等。通过将企业内部和外部各项数据高度集成和互联，能够消除过度生产浪费、等待时间浪费、工序浪费、库存浪费、运输浪费、产品缺陷浪费等，降低生产成本，提高生产效率和产品质量，实现资源优化配置。提升警务智能化水平。在公安行业建立健全基础数据实时采集、动态更新、高度共享、深度研判的工作机制，汇集来源于公安、政务、社会的数据资源，并面向公安机关及政府部门提供统一的支撑，实现数据资源的交换、集成和服务。通过建立一个以视频图像为主、多种资源关联叠加的视频资源智能化服务体系，打造公安机关视频应用实战的“神兵利器”，全面提升警务智能化水平。促进经济社会可持续发展。数据的应用有助于推动环保、节能、绿色产业发展，促进环境保护和经济社会可持续发展。例如，利用大数据可以对环境进行立体监测，通过数据模拟技术和排放清单等工具，建立环保大数据系统，提高环境监测数据的可靠性，为经济决策提供科学依据。05数据正在成为数字经济发展关键生产资料 5G/IoT/车联网带来数据量激增，同时也让数据采集和云边协同能力发生质的变化5G通过提升连接速率和降低时延，使得单位时间内产生的数据量急剧增长，单位面积内的联网设备成倍增加，海量原始数据将被收集。4G时代，数据多产生于人与人之间的互联，5G时代，物联网将得到较大程度的发展，人与物、物与物之间的连接将急剧增多，数据采集渠道将更加丰富，如联网汽车、可穿戴设备、机器人等，这也对数据存储与采集技术提出更高要求。同时，5G时代下越来越多的IoT设备将通过边缘计算进行存储、处理和分析，云、边协同能力变得尤为重要。自动驾驶将产生海量数据，成为新的数据制造机自动驾驶汽车依赖于安装在车身上的各种传感器传输的大量数据，因此要实现自动驾驶，首先要做好准备迎接海量数据的“洗礼”。在自动驾驶训练时期，以一辆车的信息采集为例，在进行自动驾驶算法路测的过程中，每辆汽车每天将产生60TB的训练数据量，仅仅在2017年，该领域就创造了大约250EB的数据量。2020年前后，自动驾驶汽车将正式上路，每小时将产生4TB的数据，其中包括了关于道路状况、天气、周围物体、交通和街道标志等的实时信息数据，海量数据存储与处理的时代即将到来。AI/大数据将改变数据的存储周期和形态首先，AI需要更长的数据存储周期。比如，公安部《公安机关现场执法视音频记录工作规定》明确提出，现场执法视音频资料的保存期限原则上应当不少于六个月，以构筑“更长证据链”。其次，AI需要全数据训练、处理和分析。在数据规模化增长的趋势下，可以按温度来定义不同访问频率的数据：经常被访问的数据称为热数据，而较少被访问的数据称为冷数据，处于中间状态的称为温数据。应用AI之后，需要数据能在冷、温、热之间随时进行切换。06数据正在成为数字经济发展关键生产资料 07数据应用的现状总结02 新技术和产业的出现，正在加速企业的数字化转型，大量新的硬件与应用带来数据量快速增长的同时，也让数据类型越来越多样化。生产、采集和保存尽可能多的数据，用于全量分析以洞察先机，成为企业的共识。海量数据蕴含巨大的价值，也给存储系统带来了前所未有的挑战，数据存不下、流不动、用不好成为了各行业数据应用最普遍的难题。08创新业务推动企业的数据量从PB级向EB级迈进，根据《华为全球产业展望GIV》预测，全球新产生的数