梧桐云原生分析型数据库产品架构与技术特点
第一部分 产品架构
中国移动大数据发展历程与资源禀赋
中国移动在大数据领域拥有丰富的发展历程和资源禀赋,为其大数据平台的建设奠定了坚实基础。
中国移动大数据平台演进
中国移动大数据平台经历了持续演进,逐步发展至云原生分析型数据库阶段,以满足日益增长的数据管理与分析需求。
梧桐云原生分析型数据库
梧桐云原生分析型数据库是中国移动信息技术中心基于Greenplum自主研发的分布式分析型数据库产品,具备云原生、高并发、高性能、多模检索等特性,旨在帮助企业用户快速构建支撑全域数据管理,实现全视角数据分析的云原生数据仓库。
技术架构
- 存算分离架构:实现存算分离、服务和计算节点无状态的弹性扩展、多个异构存储同时接入、跨存储联合查询。
- 性能优化:通过内核优化实现向量化执行引擎、C++原生HDFS接入、数据缓存、算子下推等技术。
- 生态支持:支持多种云基础设施,并支持云化、虚拟机、物理机等多种部署方式,成功适配多款国产服务器及操作系统。
第二部分 关键技术
全栈云原生设计
梧桐云原生分析型数据库服务、计算和存储均可按需弹性扩展,完全的云原生设计,支持多种云基础设施和容器化、虚拟机、物理机等多种部署方式。
多模数据库全域数据分析
依托PostgreSQL开源生态实现多模分析检索,提供全域数据管理和全场景数据分析能力。
高性能高并发计算
- 向量化执行引擎:基于AVX-256 SIMD指令集优化,单指令多数据流,动态流水线处理架构,消除IO等待导致的CPU空置。
- 弹性并行化调度引擎:根据资源负载实时调整并行度,与数据分布、模式定义解耦,单query时动态提升并行度,利用所有资源;多query时动态降低并行度,提供并发量。
性能提升:比传统数据仓库快5-10倍,比传统SQL on Hadoop引擎快几十倍。
第三部分 场景案例
湖仓一体融合分析
基于梧桐数据库的湖仓一体能力,实现数据仓库与数据湖的数据和模型互通,提升数据共享效率,解决数据孤岛问题,构建企业级湖仓融合分析大数据平台。
基于公有云按需付费
支持主流公有云基础设施,并提供简单易用的云管理平台,根据实时业务负载自动扩缩容计算资源,最大化节约客户投资。云主机根据CPU/内存等配置封装成不同资源型号(如small, medium, large),以OCU计价。
梧桐数据库支持多虚拟计算集群架构
可实现租户间的计算资源完全隔离,虚拟计算集群的实例(VCI)可在云上根据负载情况弹性扩缩容,算力弹性伸缩解决大数据平台算力不足问题,按需动态调整算力,提高资源利用率。
大规模集群混合负载
一库多用,满足实时查询、批处理、关联分析等混合业务负载,实现资源隔离,各业务互不影响,满足多用户、多业务、混合负载的业务需求。