1 镜舟科技&阿里云-StarRocks云原生湖仓分析技术揭秘

StarRocks Lakehouse 架构与性能优化

StarRocks Lakehouse 架构

• 数据导入: 数据通过Hadoop或Amazon S3导入到StarRocks。
• 数据存储: 支持HDFS、Amazon S3、Lake House、Hive、Iceberg、Hudi和Paimon等多种数据源。
• 查询加速: 使用物化视图加速数据查询，提供超快分析。
• 数据写入: 数据可以直接写入StarRocks，也可以写入开放格式数据湖。

StarRocks 在 Iceberg 的性能优化

• 性能痛点:
  • 元数据获取和解析速度慢。
  • 访问成本高，单次查询通常只涉及一个Manifest文件中的少量数据文件。
• 优化措施:
  • 元数据缓存: 缓存解析后的元数据，支持后台增量刷新。
  • 分布式元数据计划: 将元数据文件的获取、解析和过滤从单个FE节点转移到多个BE执行，显著提升性能。
  • 统计信息收集: 提供基础统计信息和直方图统计信息，优化查询计划选择。
  • 查询触发收集: 优化统计信息收集策略，提高查询效率。

StarRocks 在 Paimon 的性能优化

• 存算分离架构: 支持EMR Serverless架构，提高系统弹性。
• 元数据缓存: 收集和缓存Paimon元数据，优化查询性能。
• 分布式计划: 实现分布式计划生成，提升计划执行效率。
• 统计信息: 支持bitmap索引，优化数据扫描和查询性能。
• 物化视图: 支持物化视图改写，简化数据处理流程。

通过上述优化措施，StarRocks 在处理大规模数据时展现出高效的数据导入、查询加速和数据写入能力，显著提升了湖仓环境下的数据分析效率。