1 Lakehouse Is All You Need - 张友东_镜舟科技

StarRocks Lakehouse Summit Asia 2024 总结

社区发展概览

• GitHub 星标：StarRocks 开源 3 年，GitHub 星标 9300+，贡献者 400+，增长迅速。
• 企业客户：Top 50 互联网公司中超过一半，零售、物流、制造企业中的顶级公司在生产环境中使用 StarRocks。
• 国际影响力：Pinterest、Shopee、Demandbase 等国际知名企业采用 StarRocks。

关键技术演进

• 存算分离：提升存算分离架构下的性能，包括列存实时更新、物化视图、生成列等功能。
• 实时数据分析：优化 Compaction 策略，提升实时并发写入效率，减少事务和小文件数量。
• 半结构化数据处理：支持 Flat JSON 格式，提升查询性能数十倍。
• 向量检索：通过向量数据库优化大模型体验，提高检索速度和资源利用率。
• 物化视图：支持在 Hive、Iceberg、Paimon 上创建物化视图，简化建模和查询加速。

Lakehouse 是未来

• 数据湖与数据仓库结合：提供统一的数据存储，支持多样化的业务负载，服务企业 AI 和 BI 数据应用。
• 架构优势：基于代价优化器、向量化执行引擎、存算分离架构，支持多种数据格式。
• 生态支持：开放社区、活跃的商业化生态、广泛的开发者参与。

如何构建 Lakehouse

• 存储层：使用对象存储作为统一存储底座。
• 元数据层：开放的数据存储格式如 Spark、Flink、StarRocks。
• 计算引擎：StarRocks 是最适合 OLAP 分析的引擎。
• 架构设计：分层架构，支持实时和离线数据处理，减少 ETL 成本，提升数据新鲜度和查询性能。

总结

StarRocks 在开源、企业应用、国际影响力和技术演进方面表现出色，已成为湖仓一体架构的重要组成部分，为企业提供了高效、灵活的数据管理和分析解决方案。