移动云（陶捷）：海山数仓：移动云云原生OLAP数据库的技术演进与实践

移动云分析型数据库发展历程与海山数仓分析

移动云数据库发展历程

移动云数据库团队成立于十年前，以实现数据库核心技术自主可控为目标，目前已构建完整产品和市场体系并实现大规模商用。移动云数据库经历了从云到算的四级进化，基于K8s构建云原生数据库底座，全线产品达云原生L1级。自研海山数据库系列采用存算分离架构，全面向Serverless演进，并在中国移动算力网络战略下探索算力网络数据库。

分析型数据库发展演进

分析型数据库经历了三代演进：

1. 第一代单机分析型数据库（上世纪90年代）：如Oracle、DB2
2. 第二代传统MPP数据库（2000年代）：如Teradata、Greenplum、Vertica，支持TB级别数据分析
3. 第三代新架构实时数仓（近十年）：如Clickhouse、Doris，强调实时性和数据规模，云原生、一体化、湖仓融合是主要趋势

海山数仓的架构和理念

设计理念

• 高性能
• 实时数仓引擎
• 极简化
• 数据集成生态
• 物化视图、向量化引擎、行列混存、CBO优化器
• 存算分离、Multi-Warehouse
• 统一管控云平台
• 高兼容性（支持MySQL协议、SQL99/2003、多种外部数据源、联邦查询、Iceberg/Hudi等）

架构设计

• 高性能数仓引擎：FE负责元数据管理，CN负责数据存储和查询执行，支持向量化引擎、CBO优化、物化视图、智能缓存
• 存算分离架构：计算存储独立扩展，支持无状态计算节点，持久化存储基于对象存储，通过本地缓存加速
• 统一管控云平台：对各类数据库进行统一抽象封装，提供适配算力网络模式的新型数据库资源供给
• 高兼容性：支持MySQL协议、SQL99/2003，兼容多种外部数据源和开放数据湖格式

应用场景

• 实时分析：支持海量数据实时入库和计算，毫秒级返回结果
• 业务报表：简化数据架构，降低开发和运维成本
• 精准营销：实时监测用户增长、活跃、留存状况，提高营销效果

海山数仓的关键技术

云原生架构

• 支持存算分离和存算一体架构
• 多Warehouse共享数据，避免数据复制成本
• 持久化存储基于对象存储，降低80%存储成本
• 本地SSD提供缓存加速能力
• 计算存储资源独立扩展，提升资源利用率

新型物化视图加速

• 基于外表物化视图，加速湖仓融合场景查询
• 支持自动感知数据湖分区数据变化，实现增量更新
• 支持查询透明改写，自动将基表查询改写为物化视图查询
• 物化视图任务管理：任务资源隔离、丰富监控指标
• 自动推荐物化视图：基于规则和成本算法辅助设计

主键模型加速实时场景

• 提供新型数据模型，高效支撑数据频繁更新和实时查询
• 技术原理：采用Delete-and-Insert数据更新方式，查询时避免多版本合并操作
• 提升效果：动态数据流下查询性能提升约9倍，静态数据集提升约2.1倍；写入吞吐性能下降29%

Zero-ETL提升数据集成能力

• ETL痛点：传统数据分析中ETL工作量占比达70%
• Zero-ETL服务：实现事务处理和数据分析一体化
• 功能完备：支持MySQL整库全增量同步、动态Schema变更、多源合并
• 卓越性价比：Serverless化，动态分配资源，全量同步20w条/s，增量同步50000条/s，同步延迟低于15s

实践与展望

实践案例：中间号业务

• 项目背景：移动云中间号业务为滴滴、美团等超500家头部企业提供双向隐私通话服务，采用云MySQL承载话单数据，日增数据量约X亿条
• 业务痛点：自建数仓仅能做到T+1非实时分析，无法满足实时分析需求
• 解决方案：
  • 通过Zero-ETL将MySQL数据实时同步至海山数仓
  • 数据同步查询可用约10s
  • 使用异步物化视图优化技术，单表1亿条数据查询最快200ms（原Clickhouse查询时长1-2秒）

未来发展方向

• 将云原生进行到底，从云原生到算网原生
• 一体化架构：HTAP（Hybrid Transactional/Analytical Processing）
• Data+AI平台一体化