大 数 据 白 皮 书 （2019年） 中国信息通信研究院 2019年12月 版权声明 本白皮书版权属于中国信息通信研究院，并受法律保护。转载、摘编或利用其它方式使用本白皮书文字或者观点的，应注明“来源：中国信息通信研究院”。违反上述声明者，本院将追究其相关法律责任。 前 言 当前，全球大数据正进入加速发展时期，技术产业与应用创新不断迈向新高度。大数据通过数字化丰富要素供给，通过网络化扩大组织边界，通过智能化提升产出效能，不仅是推进网络强国建设的重要领域，更是新时代加快实体经济质量变革、效率变革、动力变革的战略依托。 本白皮书是继《大数据白皮书（2014年）》、《大数据白皮书（2016年）》、《大数据白皮书（2018年）》之后中国信通院第四次发布大数据白皮书。本白皮书在前三版的基础上，聚焦一年多来大数据各领域的进展和趋势，梳理主要问题并进行展望。在技术方面，重点探讨了近两年最新的大数据技术及其融合发展趋势；在产业方面，重点讨论了我国大数据产品的发展情况；在数据资产管理方面，介绍了行业数据资产管理、数据资产管理工具的最新发展情况，并着重探讨了数据资产化的关键问题；在安全方面，从多种角度分析了大数据面临的安全问题和技术工具。希望本白皮书的分析可以对政府和行业提供参考。 目 录 一、国际大数据发展概述.............................................. 1 （一）大数据战略持续拓展 ....................................... 1 （二）大数据底层技术逐步成熟 ................................... 2 （三）大数据产业规模平稳增长 ................................... 3 （四）大数据企业加速整合 ....................................... 5 （五）数据合规要求日益严格 ..................................... 6 二、融合成为大数据技术发展的重要特征................................ 8 （一）算力融合：多样性算力提升整体效率 ......................... 8 （二）流批融合：平衡计算性价比的最优解 ......................... 9 （三）TA融合：混合事务/分析支撑即时决策 ...................... 10 （四）模块融合：一站式数据能力复用平台 ........................ 11 （五）云数融合：云化趋势降低技术使用门槛 ...................... 11 （六）数智融合：数据与智能多方位深度整合 ...................... 12 三、大数据产业蓬勃发展............................................. 14 （一）大数据产业发展政策环境日益完善 .......................... 14 （二）各地大数据主管机构陆续成立 .............................. 17 （三）大数据技术产品水平持续提升 .............................. 20 （四）大数据行业应用不断深化 .................................. 22 四、数据资产化步伐稳步推进......................................... 25 （一）数据：从资源到资产 ...................................... 25 （二）数据资产管理理论体系仍在发展 ............................ 26 （三）各行业积极实践数据资产管理 .............................. 27 （四）数据资产管理工具百花齐放 ................................ 29 （五）数据资产化面临诸多挑战 .................................. 31 五、数据安全合规要求不断提升....................................... 35 （一）数据相关法律监管日趋严格规范 ............................ 35 （二）数据安全技术助力大数据合规要求落地 ...................... 36 （三）数据安全标准规范体系不断完善 ............................ 39 六、大数据发展展望................................................. 41 图 表 目 录 图 1 全球每年产生数据量估算图...................................... 1 图 2 2016-2020年全球大数据市场收入规模预测 ........................ 4 图 3 2016-2020年全球大数据细分市场收入规模预测 .................... 5 图 4 国家大数据战略的布局历程..................................... 14 表 1 全国31省级行政单位代表性大数据产业政策...................... 16 表 2 省级大数据主管机构........................................... 18 表 3 数据管理框架对比............................................. 26 表 4 数据价值的影响因素........................................... 32 表 5 我国大数据相关立法........................................... 35 表 6 2019年数据安全相关立法进程 .................................. 36 表 7 主要隐私数据保护技术对比..................................... 38 大数据白皮书（2019年） 1 一、国际大数据发展概述 近年来，全球大数据的发展仍处于活跃阶段。根据国际权威机构Statista的统计和预测，全球数据量在2019年有望达到41ZB1。 数据来源：IDC、Seagate、Statista estimates 图1 全球每年产生数据量估算图 2019年以来，全球大数据技术、产业、应用等多方面的发展呈现了新的趋势，也正在进入新的阶段。本章将对国外大数据战略、技术、产业等领域的最新进展进行简要叙述。 （一）大数据战略持续拓展 相对于几年前，2019年国外大数据发展在政策方面略显平淡，只有美国的《联邦数据战略第一年度行动计划（Federal Data Strategy Year-1 Action Plan）》草案比较受到关注。 2019年6月5日，美国发布了《联邦数据战略第一年度行动计划》草案，这个草案包含了每个机构开展工作的具体可交付成果，以 1 ZB，即十万亿亿字节，相当于240GB 大数据白皮书（2019年） 2 及由多个机构共同协作推动的政府行动，旨在编纂联邦机构如何利用计划、统计和任务支持数据作为战略资产来发展经济、提高联邦政府的效率、促进监督和提高透明度2。 相对于三年前颁布的《联邦大数据研发战略计划》，美国对于数据的重视程度继续提升，并出现了聚焦点从“技术”到“资产”的转变，其中更是着重提到了金融数据和地理信息数据的标准统一问题。此外，配套文件中“共享行动：政府范围内的数据服务”成为亮点，针对数据跨机构协同与共享，从执行机构到时间节点都进行了战略部署。 早些时候，欧洲议会通过了一项决议，敦促欧盟及其成员国创造一个“繁荣的数据驱动经济”。该决议预计，到2020年，欧盟国内生产总值将因更好的数据使用而增加1.9%。但遗憾的是，据统计目前只有1.7%的公司充分利用了先进的数字技术。 拓宽和深入大数据技术应用是各国数据战略的共识之处。据了解，美国2020年人口普查有望采用差分隐私等大数据隐私保护技术来提高对个人信息的保护。英国政府统计部门正在探索利用交通数据，通过大数据分析及时跟踪英国经济走势，提供预警服务，帮助政府进行精准决策。 （二）大数据底层技术逐步成熟 近年来，大数据底层技术发展呈现出逐步成熟的态势。在大数据发展的初期，技术方案主要聚焦于解决数据“大”的问题，Apache Hadoop定义了最基础的分布式批处理架构，打破了传统数据库一体 2 可参考https://www.secrss.com/articles/11352 大数据白皮书（2019年） 3 化的模式，将计算与存储分离，聚焦于解决海量数据的低成本存储与规模化处理。Hadoop凭借其友好的技术生态和扩展性优势，一度对传统大规模并行处理（massively parallel processor, MPP）数据库的市场造成影响。但当前MPP在扩展性方面不断突破（2019年中国信通院大数据产品能力评测中MPP大规模测试集群规模已突破512节点），使得MPP在海量数据处理领域又重新获得了一席之位。 MapReduce暴露的处理效率问题以及Hadoop体系庞大复杂的运维操作，推动计算框架不断进行着升级演进。随后出现的Apache Spark已逐步成为计算框架的事实标准。在解决了数据“大”的问题后，数据分析时效性的需求愈发突出，Apache Flink、Kafka Streams、Spark Structured Streaming等近年来备受关注的产品为流处理的基础框架打下了基础。 在此基础上，大数据技术产品不断分层细化，在开源社区形成了丰富的技术栈，覆盖存储、计算、分析、集成、管理、运维等各个方面。据统计，目前大数据相关开源项目已达上百个。 （三）大数据产业规模平稳增长 国际权威机构Statista在2019年8月发布的报告显示，预计到2020年，全球大数据市场的收入规模将达到560亿美元，较2018年的预期水平增长约33.33%，较2016年的市场收入规模翻一倍。随着市场整体的日渐成熟和新兴技术的不断融合发展，未来大数据市场将呈现稳步发展的态势，增速维持在14%左右。在2018-2020年的预测期内，大数据市场整体的收入规模将保持每年约70亿美元的增长， 大数据白皮书（2019年） 4 复合年均增长率约为15.33%。 数据来源：Wikibon、SiliconANGLE 图2 2016-2020年全球大数据市场收入规模预测 从细分市场来看，大数据硬件、软件和服务的市场规模均保持较稳定的增长，预计到2020年，三大细分市场的收入规模将分别达到150亿美元（硬件）、200亿美元（软件）、210亿美元（服务）。具体来看，2016-2017年，软件市场规模增速达到了37.50%，在数值上超过了传统的硬件市场。随着机器学习、高级分析算法等技术的成熟与融合，更多的数据应用和场景正在落地，大数据软件市场将继续高速增长。预计在2018-2020年间，每年约有30亿美元的增长规模，复合年均增长率约为19.52%。大数据相关服务的规模始终最高，预计在2018-2020年间的复合年均增长率约为14.56%。相比之下，硬件市场增速最低，但仍能保持约11.80%的复合年均增长率。从整体占比来看，软件规模占比将逐渐增加，服务相关收益将保持平稳发展的趋势，软件与服务之间的差距将不断缩小，而硬件规模在整体的占比则逐