OLAP 在火山 EMR 的实践

EMR产品概述

EMR产品基于EMR云原生存算分离架构，支持开源架构技术栈，协同开源大数据生态与火山生态。产品核心特性包括存算分离、冷热分层存储、统一元数据、开源优化、数据湖仓、异构迁移等，旨在解决客户计算和存储耦合导致的资源闲置与成本问题，并提供十万级QPS的查询分析和Serving能力。

EMROLAP云原生

EMROLAP云原生提供企业级运维（半托管+全托管）服务，帮助用户轻松构建云上企业级大数据平台。其核心优势包括：

• 灵活极致弹性：支持弹性扩展和收缩，停机不收费，Stateless集群快速恢复。
• 高可用：保证业务无中断，性能不受影响，数据自均衡。
• 成本管理：支持StarRocks/Doris与Hadoop/Spark混合部署，智能冷热数据管理。
• 面向查询的智能分析：提供作业视角的管理，支持跨引擎、集群的作业管理。

EMROLAP客户案例分析

EMR产品已成功应用于多个行业客户，解决其核心痛点：

• 字节跳动：抖音直播某活动榜单计算，通过Doris替换Flink任务，降低计算成本，提高可维护性。
• 某智能驾驶云：Doris监控IOT场景数据实时采集分析。
• 某新广告客户：使用EMR Doris和OpenSearch解决实时场景数据同步和查询问题，通过DataSail实现全量增量一体数据同步。
• 某互联网旅游行业用户：Kylin升级StarRocks架构，解决数据规模增速、系统稳定性、性能和成本问题。

EMROLAP未来规划

EMR产品后续规划包括：

• 实时引擎：投入行列混存、WAL+MemTable的写入优化，提升高频TPS写入性能。
• 云原生升级：优化CN节点，支持读写BE存储节点，提升极致弹性能力。
• 离线引擎：实现湖仓一体，一套存储、一套元数据、两套计算引擎，轻量化ETL。

关键数据

• 字节跳动内部实践：1k+物理节点，8w+物理核，1.5PB+物理内存，5k+单集群峰值QPS，1k+单集群表数量。
• 某新广告客户：使用开源Greenplum存放近3个月数据，通过EMR Doris和OpenSearch实现统一查询和实时更新。
• 某互联网旅游行业用户：数据规模增速高于业务增速，通过新架构实现成本控制和性能提升。