聚水潭云原生OLAP架构的最佳实践

聚水潭数仓架构及OLAP最佳实践

业务介绍

聚水潭成立于2014年，以电商SaaS ERP起家，快速占据市场领先地位，已对接300+线上平台，服务商家超100万。2020双11期间，全网处理订单达8.52亿，约占全国5-6个包裹中的1个。公司业务分为SaaS ERP和数据智能两大板块，数据智能产品旨在将数据融入业务，服务团队协同。

数仓演进发展历程

聚水潭数仓经历了四个主要发展阶段：

1. 探索期（2016.4-2016.9）：初创期以业务系统数据库为主。
2. 自建期（2016.9-2018.3）：基于开源Greenplum自建数仓，采用多数仓架构。
3. 成熟期（2018.3-2021.7）：Greenplum升级为AnalyticDB for PostgreSQL，后期引入AnalyticDB for MySQL优化查询体验。
4. 升级期（2021.7至今）：引入Dataworks+MaxCompute建设统一数仓，采用双数仓架构（ADB for PostgreSQL+ADB for PostgreSQL），并引入Flink+Hologres构建云原生实时数仓。

OLAP最佳实践

物流预警能力

• 数据量级：日均处理数据18亿，告警定时器2亿+，外置状态数据25亿/5TB。
• 技术链路：基于Hologres集群提供在线/分析服务，采用行列共存、聚簇索引、分区、位图索引等优化技术。
• 模型设计：使用Hologres表dwd_jst_erp_lgst_alarm_test，包含分区、行列存储、位图索引等优化。

物流预警架构迭代

• 现有问题：缺少长周期数据回放能力、自建集群运维成本高、订阅链路长、实时链路数据复用度不高。
• 迭代目标：实现新增商家30天订单轨迹实时回放。
• 迭代架构：
  • 新增回放链路支持长周期数据回放
  • 新增订阅逻辑实现按需计算
  • 换用云组件Lindorm降低运维成本
  • 建立轨迹相关实时公共层便于业务扩展

未来展望

• 云原生OLAP：
  • HSAP：实现资源分钟级弹性、多租户资源分时复用、S级故障隔离等
  • 表模型：扩展明细、聚合等业务模型
  • 实时处理链路：简化binlog产生、订阅、ETL处理流程
  • 一体化能力：与MaxCompute形成能力与资源互补