StarRocks湖仓融合的四种范式

湖仓融合的重要性

1. 数据湖的优势

• 更低的存储成本：从HDFS迁移到对象存储。
• 更好的表格式：支持ACID事务和Schema演进。
• 更好的文件格式：支持半结构化数据。
• 统一的元数据管理：便于管理和维护。

2. 在湖上建立仓库的原因

• 数仓加速：提升查询性能。
• 实时分析：满足秒级实时性需求。
• 高并发查询：减少数据扫描量，提高查询效率。
• 数据导入复杂性：数据成本和管理成本增加。
• 维护一致性和开放性：保持数据和元数据的一致性，支持开放的底层文件格式。

3. 湖仓融合的好处

• 简化技术架构：降低运维成本。
• 单一数据源：基于相同数据计算。
• 统一的数据治理：构建统一的数据底座。

StarRocks在湖仓融合中的作用

1. 湖仓融合的四种范式

1. 数据湖查询加速：

   • 使用Hive/Iceberg格式。
   • 加速查询性能。

2. 湖仓分层建模：

   • 使用Hive/Iceberg格式。
   • 支持MV（Materialized View）。

3. 实时数仓与数据湖融合：

   • 使用Hive/Iceberg格式。
   • 实时数据同步到湖。

4. StarRocks 3.0 云原生湖仓：

   • 使用StarRocks格式。
   • 一站式湖仓解决方案。

2. StarRocks性能优势

• 本地IO和远程IO：通过Local Cache加速。
• 文件格式：支持Json/Struct/Map，Fast Decimal。
• 索引：聚簇索引和二级索引。
• 数据分布：支持Colocated Join和Colocated Aggregation。
• 查询引擎：向量化引擎的MPP执行框架，Query Cache，统计信息。

StarRocks 3.0 存算分离

1. 为何需要存算分离

• 计算和存储增长不匹配：方便扩展。
• 计算弹性需求：Adhoc场景下的弹性计算。
• 多集群支持：不同负载分配到不同集群。
• 云原生架构：充分利用云上的池化资源。

2. 存算分离的特点

• 基于StarOS：良好架构设计，支持云上和本地部署。
• 多集群支持：增强弹性能力。
• Local LogStore和FileStore：统一架构。
• Primary Key存算分离：解决实时问题。

3. 存算分离的价值

• 降低存储成本。
• 资源隔离。
• Multi-AZ。
• Multi-cluster和弹性。

总结

通过StarRocks的存算分离和湖仓融合，可以实现高效的数据管理和分析，同时降低存储成本和提高系统弹性。