阿里云 EMR StarRocks 引擎产品化实践

EMRStarRocks简介： EMRStarRocks提供EMR完整的生态服务，包含半托管服务（如SRONECS、SRONACK）和全托管服务两种产品形态，实现湖仓一体架构。

可观测性： 大数据的可观测性通过指标采集和元数据采集等技术获取系统洞察数据，其价值在于：

• 资源分析：更合理的资源利用和更健康的集群使用
• 分析与根因分析：快速定位问题
• 问题提示和异常提醒：减轻开发与运维人员工作量，提高效率 具体可观测性内容包括：
• 内存管理：常见问题如物理内存限制、BE崩溃等
• 导入管理：支持HTTP协议导入本地文件、程序导入数据流、从Apache Kafka实时导入数据、从HDFS或外部云存储系统导入数据，导入失败时提供Error提示，性能调优通过Profile，稳定性通过SafeMode保障
• Compaction管理
• 集群画像：包括集群资源（磁盘、CPU、内存）、集群进程、查询、Tablet管理（库、表、分区）、FE、BE进程端口探测、查询记录、慢查询分析等
• 集群画像细节：导入事务（begin、commit、publish）、PKApply（loadindex、updatePKIndex、genDelVector）、TabletRebalanceTask（check、schedule、execute） 运维经验：以集群画像为核心

增量计算： EMR-SR与Flink推出CTAS&CDAS，通过Starrocks-Connector-Flink-V2实现：

• 两阶段提交：StarRocks提供Begin、Prepare、Commit等接口，支持多次数据写入请求作为同一事务提交，保证数据一致性
• 一条SQL语句完成StarRocks建表、Flink-CDC任务创建、实时同步Schema变更等操作
• Exactly-Once语义优化：V2分批写入，降低Flink侧存储数据Buffer的内存消耗，提高任务稳定性 Lambda架构实时链路：结合Binlog能力与Flink和Paimon深度集成 Paimon：Apache Paimon是一个流数据湖平台，支持高速数据摄入、变更数据跟踪和高效实时分析，其特性包括：
• PaimonCatalog：支持外表查询
• PaimonChangeLog：支持增量MV做ETL、外表物化视图加速

总结：

1. EMRStarRocks：
   • 提供EMR完整的生态服务
   • 包含半托管和全托管两种产品形态
   • 实现湖仓一体
2. 可观测性：
   • 尽可能白屏化
   • 包含内存管理、导入管理、Compaction管理
   • 集群画像功能全面
3. 增量计算：
   • 结合Binlog能力与Flink和Paimon深度集成