存算分离：Apache Doris部署新范式

存算分离：Apache Doris 3.0 部署新范式

核心观点与架构

• 存算分离技术特性：通过将存储和计算分离，实现低成本、弹性负载和负载隔离。
• 架构对比：存算分离架构将存储（S3/OSS/Azure/GCP/HDFS）与计算（Compute Group）分离，通过Meta Service管理，相比存算一体架构具有更好的扩展性和成本效益。
• 性能提升：存算分离通过多层Cache（Doris Page Cache、Linux Page Cache）显著提升查询性能，完全命中缓存时性能最佳。
• 数据及时性：支持高并发（32并发Flink写入）和快速Checkpoint（5秒周期），保证数据及时性。
• 小文件处理：通过存算分离技术优化小文件写入，减少文件数量。

关键数据与成本效益

• 成本降低：存算分离可降低成本超过90%，例如使用SSD和HDD组合存储，相比存算一体架构节省显著。
• 弹性扩展：无状态的计算节点支持快速调整计算资源，提升资源利用率，降低运维复杂度。
• 负载隔离：未来将实现独立Cache、BE和FE，进一步隔离多计算组之间的负载。

典型应用场景

• 在线业务降低成本：通过使用更廉价的存储（如AWS gp3和st1）和减少机器数量，显著降低成本。
• 历史数据降低成本：使用200TB S3存储替代昂贵的历史数据存储，每年节省大量费用。
• 快速扩缩容应对大促：例如在年货节期间，通过动态调整计算资源应对业务高峰。
• 快速调整机型：通过设置用户默认计算组和预热阶段，实现机型的快速切换。
• 多业务线共享数据：存算分离支持多业务线共享数据，且业务线数目可以任意扩展。
• 在离线负载隔离：通过独立的Compute Group隔离在线和离线负载。
• 读写隔离：实现写入和查询的负载隔离，提升系统稳定性。
• 新一代数据基座：提供高并发查询、实时数仓和日志检索能力，支持湖仓一体。

研究结论

Apache Doris 3.0的存算分离架构通过技术创新，实现了成本降低、弹性扩展和负载隔离，适用于多种业务场景，是新一代数据基座的有力选择。