中国分布式数据库发展研究白皮书：释放数据价值助力企业加速发展

CONTENTSIDC观点第一章 重视数据库发展，为实现科学有效的数据管理夯实基础1.1 良好的数据管理是企业实现数字创新的先决条件1.2 企业重视增加数据库投入，高性能、高可用、可扩展为关注重点第二章 企业数据库使用现状及挑战2.1 关系型数据库市场稳步提升2.2 数据环境日趋复杂、业务和技术加快创新，企业数据库亟待升级第三章 分布式数据库助力企业实现数字化转型规模化落地3.1 分布式数据库基本特征和优势3.2 企业应用分布式数据库的驱动因素和策略3.3 分布式数据库典型场景和行业3.4 企业分布式数据库应用面临的挑战3.5 分布式数据库的发展前景和趋势第四章 IDC 建议第五章 分布式数据库应用成功实践第六章 关于OceanBase 0203030406070914141719222426303601 IDC观点选择合适的合作伙伴，以分布式数据库为契机推进数字化转型全景式进阶由于分布式数据库的一系列优势，当前在企业用户侧接受度普遍提高，企业在进行分布式数据库选型和实施过程中应注重以下方面：企业需要综合考虑部署成本、业务发展需求、自身IT能力和数据安全与合规性等因素，选择符合自身发展要求的产品与供应商。实施分布式数据库升级改造方案前，应全面评估升级改造对现有系统的影响，充分准备执行方案，可以大大缩短分布式数据库的实施周期。选择合适的厂商伙伴，可以弥补企业自身在经验、人才、运维等方面的欠缺，保障项目上线的效率和成功率，提高企业自身数据管理和运用，推进企业实现从倍增创新向智能创新的发展。根据IDC调研发现，技能输出、行业经验赋能、服务能力、生态和安全等是厂商为企业提供的最具价值的能力补充。数据库是实现数据驱动的基础性工具，将持续演进以支撑企业业务发展数据成为生产要素之一，借助数字优先、数据驱动等思想促进企业优化运营模式，转变现有业务流程，提高客户参与度，优化客户全方位体验，进而保持企业竞争力。数据库可实现数据的科学、高效存储、操作和处理，为提升数据管理效率提供基础，为数据价值挖掘提供可能，企业将持续增加数据库相关资金投入。关系型数据库强调数据操作的一致性和持久性，适用于复杂数据查询和操作，在诸多行业领域发挥重要作用。数据环境日趋复杂、业务创新加速、新技术蓬勃发展，企业不断升级数据库需求随着“互联网+”与产业结合愈加密切，基于移动互联技术的新产品、新服务不断涌现，移动互联网业务场景增多，超大数据量、超高峰值、超广链接成为常态，数据数量和价值直线攀升，企业越来越重视数据库的可用性、可扩展性、稳定性以及安全性，而传统单机数据库难以满足海量数据管理需求，业务高速发展过程中难免遇到数据库性能、运维、管理和成本的天花板，加之随着联网的系统增多，数据库安全风险提高，给企业进一步发展带来诸多压力。分布式数据库为弹性灵活部署、安全可靠支持、适配云化趋势、广泛应用场景提供理想方案分布式数据库具有逻辑统一性、应用透明、弹性扩缩、自治安全等特质，在可用性、灵活性以及成本可控等方面表现出优势，可较好应对数据海量增长、移动互联业务增加带来的压力，为高并发、高峰值等业务场景提供高稳定、高可用、高安全、低延迟、低感知的使用体验。分布式数据库解决方案已经在金融、政府、制造业、电信等诸多行业投入应用。 02 1.1良好的数据管理是企业实现数字创新的先决条件IDC最新预测数据显示：到2022年，全球65%的GDP将是数字化的；到2023年，企业75%的IT支出将用于第三代平台技术，逾90%的企业会建立“数字化原生”IT环境，在数字经济中实现快速增长。在中国，到2025年，在新基建等战略驱动下，数字经济占GDP的比例将超过70%，越来越多的企业有望在数字化创新的浪潮中实现获益。数据已经成为驱动全球经济和企业业务发展的燃料，做好数据管理将是企业实现数字化创新的先决条件。数据可谓是数字经济的命脉，数据与企业生产、销售、运营、战略等多环节的关系更为紧密。借助数据，企业可实现对社会发展规律和市场趋势的洞察，通过对数据的挖掘和分析，拓展业务的疆土，为下一代业务的开发与上线提供原料，提升内部运营效率，提升业务落地和迭代速度，对业务流处理能力实现跨越式优化，带来更短的反应时间、更多的产品创新和更优化的客户体验，赢得数字化转型发展的先机。IDC全球数据圈（一种衡量在任何给定年份中创建、捕获或复制多少新数据的方法）表示，2019年全球创造了45ZB的新数据，未来3年创建的数据量将超过过去30年创建的总和；到2024年，中国新创建的数据将达到36ZB，约占全球总量的四分之一，此外，2019年60%的数据分布在端侧和边缘，19%的数据是实时数据，未来实时数据将以1.5倍的速度增长。重视数据库发展为实现科学有效的数据管理夯实基础0301 04企业知晓数据的重要性，但是在数据价值挖掘和数据管理方面，仍显乏力。IDC研究显示，长期以来企业数据分析工作的状态可用80/20法则来描述：企业数据工作者花费至少80%的工作时间在数据发现、数据准备、数据保护等数据管理相关工作上，只能将少于20%的工作时间用于数据分析，且平均每周有超过12个小时的时间进行低效的数据发现、准备和保护等工作。在数字经济中，数据的分布、多样性和规模变化正在影响着数字时代工作者的效率和效果。企业需要通过使用更有效，更加符合现有数据环境的管理工具实现数据的集成、访问、治理和安全保护，以满足其对数据工程建设和数据智能实现的需求，其中数据库是企业投入最多的基础数据管理工具之一。1.2 企业重视增加数据库投入，高性能、高可用、可扩展为关注重点自20世纪中期，第一台通用计算机问世以来，人们管理计算机数据的方式在不断进步：从早期的人工处理方式发展到文件管理系统，再到当前的数据库管理系统。进入数据库阶段后，数据第一次从应用系统中独立出来，不再是面向某个应用或某个程序，而是面向整个企业或所有受许可访问的应用。数据库以结构化的方式组织、存储和管理数据，相比于人工处理或文件系统，数据库可以更加便捷地实现查询、修改、共享等操作，进而为数据分析提供基础，为数据价值的挖掘提供可能，为企业决策提供判断依据。进入到数字经济时代，随着数据库运用领域的不断扩大以及相关技术的不断发展，满足企业多样化需求的各类数据库不断涌现，数据库已经成为企业数据管理的必要工具。2021年，IDC针对中国企业数据库使用情况进行调研，调研主要覆盖金融（银行、保险、证券）、制造、政府、电信、互联网等行业的部分中大型企业（企业人数在500人及以上）。调研显示，企业将持续增加对数据库的资金投入：在过去两年中（2019-2020），98%的被访企业表示增加了对数据库的资金投入，增幅主要集中在15%及以下；未来三年，几乎所有被访企业均表示会增加对数据库的投入，整体增幅较前两年也会稍有增加，主要集中在15-30%区间范围内。 图2 企业在数据库选型时主要考虑的因素来源：IDC，202105调研还发现，在选择数据库时，企业最为关注的考量因素包括：产品的性能、高可用性以及扩展能力，而“价格”则越来越不会成为企业选择数据库时的核心考量因素，这体现出，企业在选择产品时具有更加成熟、理性的视角，不仅对IT方面的投资有良好的意愿，且更关注产品给企业带来的价值，注重成本与投入之间的性价比。产品的性能产品的高可用性产品的扩展能力品牌行业内的成功案例安全和合规厂商的服务能力价格 06图3 数据库产品发展历程概览来源：IDC，2021企业数据库使用现状及挑战自数据库系统诞生以来，先后出现了层状数据库、网状数据库、关系型数据库，以及非关系型数据库。上世纪70年代关系型数据库出现后，关系型数据库迅速得到推广和普及，自首次诞生以来，关系型数据库已经经过了40多年的时间，目前仍旧是数据库市场的主流。对于用户来说关系型数据库主要具有两点核心价值：首先通过简单的数据结构表述丰富的语义，支持事务的ACID特性，即原子性、一致性、隔离性、持久性，屏蔽底层细节，简化应用开发的复杂性；其次支持通用的SQL，并借助接近自然语义的表述，增强可读性和可维护性，减少开发人员和业务人员之间的沟通成本。分布式关系型数据库分布式非关系型数据库单机关系型数据库上世纪70年代关系型商业数据库出现OracleIBM DB2SybaseSQL ServerInformixPostgreSQLMySQLTeradataSybase IQGreenplumHBaseSAP HanaMongoDBRedisAWS Aurora, RedshiftAzure SQL DatabaseGoogle SpannerOceanBasePolarDBAnalyticDB1970-19801980-1990商业起步1990-2000开源1990-2000分析2000-2010异构NoSQL2010-2019云原生、一体化分布式、多模、HTAP02 2.1关系型数据库市场规模稳步增长近年来大数据技术的应用推动了市场对非关系型数据库的关注，但关系型数据库在其核心应用领域的重要性没有降低。IDC数据显示，2020年，中国关系型数据库市场规模达到18.8亿美元，同比增长36.5%；过去五年来增速持续增长。关系型数据库采用关系模型实现对数据的组织，强调数据操作的一致性、稳定性和高性能，适用于复杂数据查询和操作，在诸如金融、政府、制造等传统行业领域发挥重要作用。未来随着5G、IoT、区块链等技术的普及应用，各行业对数据库事务性处理的需求会持续增加，关系型数据库具有广阔的价值发挥空间。IDC数据显示，在中国，IT和互联网服务、金融、制造、政府和服务是关系型数据库软件市场的主要应用行业，且使用增加趋势明显。图4 中国关系型数据库市场规模，2016年 ‒ 2020年来源：IDC，20212,5002，0001，5001，0005000百万美元699.020162017801.214.6%市场规模 072018201920201032.71376.61879.128.9%33.3%36.5%同比增长 08金融行业：金融行业是关系型数据库忠实的用户群体之一，受其业务属性影响，对数据的一致性和可靠性有较高要求。随着移动支付、非接触业务模式发展，关系型数据库的使用将更加广泛，以支持其对在线业务的处理。IT和互联网服务：中国的互联网行业发展在国际上具有领先地位，不仅用户规模大、移动互联网渗透率高，其商业模式的多元化和创新性也很强。这样的发展背后是对用户大量的行为和交易数据的处理、分析和利用。当前互联网正在向智能化的方向发展，更多基于用户分析的个性化推荐会带动新一轮对关系型数据库的需求。制造业：制造业是强国之本，近年来以制造业为主的实体经济尤其受到国家重视，被赋予引领民族复兴的重任。通过信息技术及两化融合提升制造业的创新力和竞争力是产业的共识。在这一过程中会涉及对大量研发设计数据、生产制造数据、经营管理数据、运维服务数据的利用，而这些数据仍以关系型数据库为主。 09来源：IDC，20212.2 数据环境日趋复杂、业务和技术加快创新，企业数据库亟待升级强大而稳定的数据库是企业承载数字化业务、探索数字服务创新的基础。对数字经济而言，关系型数据库也承载着“产业数字化、数字产业化”的使命，是各行各业数字化底座的“底座”。这为数据库的发展带来机遇的同时也带来挑战。图6 数据环境、业务发展和基础设施的变化对数据库提出新的要求业务：移动互联网业务场景增多，高并发，大数据量，超高峰值，数据孤岛，存量数据��基础设施：云、IoT、5G数据库：存储，计算，管理数据环境日渐复杂当今我们所面临的数据环境越来越复杂，数据规模、数据类型以及数据所处的位置的不断变化，数据环境呈现出更加多样化、分布化和动态化等特征。数据呈海量、高速增长态势：受第三平台技术发展、产品和服务数量增长、业务形态创新、数据的生产与流程加速等原因影响，数据呈海量增长态势。数据的采集和处理能力和速度将影响企业业务创新落地的程度。 10数据类型多样：数据类型日益丰富，诸如交易数据、主数据、日志文件、社交媒体、地理信息、流数据