数据湖超车道：StarRocks 如何借助物化视图加速数据分析

StarRocks LakeHouse 与物化视图解决方案

01 StarRocks 数据湖分析

StarRocks LakeHouse 架构特点

• 核心价值：云原生弹性扩展、湖仓融合一体化
• 开放生态：支持 Hive/Iceberg/Hudi/DeltaLake 等多种存储格式
• 统一 Catalog：跨数据源联邦分析，内外表数据统一管理
• Trino SQL 兼容：支持 Trino SQL 关键字、语法和函数

极速查询性能

• 挑战：不同文件格式和存储系统导致 IO 特征差异、数据组织不合理、IO 延迟高
• 关键技术：
  • Local Block Cache（磁盘+内存）
  • IO 合并技术
  • 延迟物化（根据查询条件过滤结果）
• 性能测试：在 Iceberg、TPC-H 测试集上，StarRocks 查询速度比 Trino 快 3~5 倍

统一开放架构

• 核心组件：统一 Catalog、CBO、Vector Engine、Query Cache
• 实时能力：支持实时数据更新、Partition/Bucketing/SortColocate Statistics
• 索引优化：支持 Bitmap/HLL 索引类型
• 分层解耦：内表提供更好的数据访问优化，支持实时数据更新

02 StarRocks 物化视图

功能特性

• 核心功能：预计算、分区、定时刷新、资源组隔离、复杂查询支持
• 语法示例：

  CREATE MATERIALIZED VIEW mv1 PARTITION BY dt
  REFRESH EVERY (INTERVAL 1 HOUR)
  PROPERTIES(“resource_group” = “rg1”) AS
  SELECT c_city, count(*) FROM lineorder t1 JOIN customer t2 ON t1.lo_custkey = t2.c_custkey GROUP BY c_city
  

应用场景

• 实时增量聚合：支持 sum/distinct/hll/bitmap 等聚合类型
• 数仓分层建模：实现 ODS→DWD→DWS→ADS 的自动化 ETL
• 透明查询加速：优化 BI 报表查询性能

关键技术

• 数仓建模：
  • 支持内表和外表（Hive）自动刷新
  • 事实表和维度表分区关联自动推导
• 弹性资源隔离：
  • 资源组软隔离（CPU 时间片调度）
  • Warehouse 硬隔离（Memory Tracker + Disk Spill）
• 查询自动改写：
  • 聚合上卷改写
  • Join 改写
  • 表达式改写

应用案例

• 实时精准去重：
  • 替代 Flink + Druid 方案
  • 数据新鲜度：1 分钟→30 毫秒
  • 并发能力：100 并发查询
  • 资源成本降低 80%

03 MV for LakeHouse

核心功能

• 物化视图构建：支持复杂查询嵌套、外表构建
• 物化视图刷新：分区级别细粒度控制、外表自动刷新
• 查询自动改写：聚合改写、Join 改写、外表查询改写

应用案例

• 分层建模：
  • ODS（实时数据）
  • DWD（外表物化视图）
  • DWS（物化视图构建）
  • ADS（逻辑视图）
• 实时数据湖方案：
  • Lake 实时聚合 + Iceberg 存储
  • StarRocks 实时增量聚合
  • PK 表实时更新

业务价值

• 开放数据：SSOT 入湖，其他引擎可查
• 实时加工：分摊资源使用，优化资源利用率
• 实时查询：StarRocks 查询引擎+原生存储

04 总结展望

• StarRocks LakeHouse 通过统一 Catalog 和极速查询技术实现数据湖的高效分析
• 物化视图功能显著提升数仓建模效率和查询性能
• 提供 MV for LakeHouse 解决方案，实现分层建模和实时数据湖架构
• GitHub：https://github.com/StarRocks/starrocks
• 论坛：https://forum.mirrorship.cn/