周康- 阿里云 EMR StarRocks 介绍

阿里云EMR STARROCKS介绍

开源OLAP综述

• 常见开源OLAP技术包括计算与存储一体OLAP数据仓库（StarRocks/DorisDB、ClickHouse、Apache Doris）、预处理/Cube/NoSQL（Druid、Kylin、HBase）、计算引擎（Trino/PrestoDB/Impala、Spark/Hive）以及增量数据湖格式（Hudi/Iceberg/DeltaLake）。

开源数仓解决方案

• E-MapReduce开源大数据解决方案支持离线数仓体系（Lambda架构）、实时数据湖解决方案以及实时数仓解决方案。
• Lambda架构适用于数据量10PB+级别，以离线数仓为基座建设数据中台，部分热数据表导入StarRocks/CK进行OLAP查询（500ms~2s）。
• 实时数据湖方案适用于数据量PB+级别，统一离线、实时数仓，用一套代码构建业务，部分业务支持分钟级~小时级数仓，OLAP查询（500ms~2s）。
• 实时数仓方案适用于每天增量数据10TB+，直接以单软件构建业务底座，数据先存储于CK/StarRocks，冷数据转存到OSS，简化运维操作。

StarRocks介绍

StarRocks核心特性

• 价值：极速的任意维度OLAP分析和AdHoc查询、数据秒级实时更新可见、支持数千用户同时分析、高并发（每秒高达1万以上QPS）、支持多种数据模型、业务交付时间从周加快到小时级、提升数据工程师和分析师工作效率可达10倍以上、构建灵活，快速响应业务变化。
• 重构企业数据基础设施：ETLCDCIngestionExternal tableQueryBI,Reporting,Applications,Ad Hoc。
• 新一代弹性MPP架构：极简架构（FE、BE，易运维）、水平扩展、自动均衡、兼容MySQL协议。
• 极速引擎-全面向量化：按列存储，按列计算，向量化提升效果显著（Filter提升5.1倍，聚合提升14.9倍等）。
• 极速引擎-全新CBO：基于Orca论文，优化方法包括表达式重写、表达式复用、谓词下推、limit下推、聚合下推等。
• 极速引擎-多种分布式Join。
• 全场景-丰富的数据模型：明细模型、聚合模型、主键模型、更新模型，每个模型分Key列和Value列，Key列全局有序。
• 全场景-高并发查询：分区机制、分桶机制、Tablet最小数据逻辑单元。
• 全场景-LakeHouse：联合查询、查询加速，与增量数据湖格式完美结合，性能优势显著（TPC-H测试中比Presto(ORC)快3倍以上）。
• 易运维-弹性伸缩，在线扩容：数据分布弹性，在线扩容，控制成本，按需伸缩。

StarRocks最佳实践

案例1–统一

• 原解决方案：指标分析、Ad hoc查询、可视化报表，使用多个引擎（Apache Kylin、Druid、ClickHouse、Impala、Presto、Hive），存在学习成本高、运维难度大、数据时效性差等问题。
• StarRocks解决方案：统一集群对外服务，支撑上千QPS，数据时效提升至秒级，使用物化视图支撑实时数据报表，使用更新模型简化数据开发链路，运维简单，指标平台灵活查询固定报表。

案例2 –数据湖分析

• 原解决方案：使用Presto查询Hive外表做报表，存在集群节点数量庞大、维护成本高、慢查询问题。
• StarRocks解决方案：相对Presto有3倍以上的性能优势，成本仅为Presto的1/3。

案例3–TP实时同步到AP

• 业务背景：大量业务依赖于OLTP系统。
• 原解决方案：Hadoop数仓，离线T+1分析系统，系统运维复杂。
• StarRocks解决方案：替代原有数仓结构，链路简化，Ad-hoc查询灵活，对接线上系统点查。