行业研究公司研究宏观策略财报招股书会议纪要 seedance2.0 低空经济 DeepSeek AIGC 大模型

Apache Doris与Elasticsearch：在分析场景下的深度对比

2024-01-14 肖康 Apache Doris PMC 赵小强

为什么对比两者

Elasticsearch 和 Apache Doris 在运维、安全和业务领域有相似的应用场景，如实时分析。

深度对比两者

1. 开源开放

Elasticsearch: 多次变更 License，现为 Elastic License，商业友好但开放性受限。
Apache Doris: 始终使用 Apache 2.0 License，开放且商业友好，由 Apache 开源软件基金会运营。

2. 系统架构

Elasticsearch: 支持 On-Premise、Cloud SaaS 和 Cloud BYOC 三种部署模式。
Apache Doris: 支持 On-Premise 和 Cloud SaaS 两种部署模式，支持存算一体和存算分离，弹性更高。

3. 实时写入

Elasticsearch: 写入吞吐低，支持 HTTP REST 接口，不支持 Pull 方式。
Apache Doris: 写入吞吐高，支持 HTTP REST、MySQL 推送和 Kafka、CDC 拉取。

4. 实时存储

Elasticsearch: 支持2.5种存储模型（明细、主键、聚合），存储空间占用高。
Apache Doris: 支持3种存储模型（明细、主键、聚合），存储空间占用低，支持同步强一致聚合和更新。

5. 实时查询

Elasticsearch: 使用开放查询接口（SQL），学习门槛低，支持搜索和聚合查询，但分析能力有限。
Apache Doris: 使用专用查询接口（DSL），学习门槛高，支持 JOIN 等丰富分析能力，支持 UDF、子查询、窗口函数等。

对比总结

Elasticsearch: 适合点查性能要求高的场景，分析性能较低。
Apache Doris: 适合需要高写入吞吐、灵活架构和复杂分析的场景。

典型场景和案例

可观测性场景

抖音: 日增数据量8000亿条，LogTrace 场景完全支持 Doris。
网易: 日志场景存储空间降低1/3，查询效率提升10倍；时序场景服务器节省50%，存储空间降低67%。
观测云: 成本节省70%，全文检索性能提升2-3倍。

网络安全场景

奇安信: 存储空间节省40%，写入性能提升2倍，支持全文检索、聚合统计和多表 JOIN。
中国电信翼支付: 导入性能提升4倍，存储空间节省50%，查询性能提升3倍。
安恒信息: 写入性能提升2倍，压缩率提升4倍，查询性能提升4倍。

业务分析场景

抖音电商: 直播详情页写入性能提升3倍，查询并发提升4倍。
腾讯音乐内容库: 替换 ES 和 CK，存储成本降低80%，写入性能提升4倍，支持复杂分析。
360企业安全浏览器: 聚合分析效率提升100%，存储空间降低60%，SQL开发效率提升1倍以上。

结语

Apache Doris 在实时写入、存储和查询方面表现优异，适合多种复杂场景，值得进一步探索和应用。

肖康ApacheDorisPMC成员为什么对比两者01深度对比02典型案例03 目录为什么对比两者为什么对比两者 Elasticsearch搜索引擎 Doris实时数仓 •运维领域：可观测性•安全领域：安全分析•业务领域：搜索与分析相似的应用场景：实时分析深度对比两者从用户角度多维度深入对比 1开源开放 Elasticsearch ApacheDoris 多次变更License 一直是Apache2.0License •开放•商业友好•长期持续 •ApacheLicense2.0•ElasticLicense•AGPLLicense 项目运营项目运营 •Apache开源软件基金会 •Elastic公司 2系统架构 Elasticsearch ApacheDoris 支持3种部署模式支持2种部署模式 •On-Premise•CloudSaaS•CloudBYOC •On-Premise •CloudSaaS 2系统架构 ApacheDoris Elasticsearch 支持存算一体和存算分离，多种弹性仅支持存算一体，有限弹性 •计算-计算分离：workloadgroup•存储-存储分离：冷热分层•存储-计算分离：存算分离 •计算-计算分离：threadgroup•存储-存储分离：冷热分层•存储-计算分离：不支持 3实时写入 ApacheDoris Elasticsearch 支持实时写入与更新，吞吐低支持实时写入与更新，吞吐高 •写入吞吐高：多副本一次索引，向量化•支持Push：HTTPREST/MySQL•支持Pull：Kafka，CDC •写入吞吐低：多副本多次索引 •支持Push：HTTPREST •不支持Pull：需借助logstash外围工具 4实时存储 Elasticsearch ApacheDoris 支持2.5种存储模型支持3种存储模型 •明细模型•主键模型•仅支持MOW写优化模式•主键去重写入性能大幅降低3倍•主键仅支持1个字段，不能用于聚合和排序•聚合模型 •明细模型 •聚合模型 4实时存储 ApacheDoris Elasticsearch 支持3种存储模型支持2.5种存储模型 •明细模型•主键模型•聚合模型•同步强一致聚合•支持更新•原始+聚合和仅聚合两种模式 •明细模型•主键模型•聚合模型•异步最终一致•不支持更新•聚合数据替换原始数据，不能共存 4实时存储 Elasticsearch ApacheDoris 存储空间占用高存储空间占用低 •列存+简化倒排索引•LZ4/GZ/ZSTD压缩算法•整体压缩率高1:5~1:10 •行存+列存+倒排索引•LZ4/GZ压缩算法•整体压缩率低1:1.5 3实时存储 4实时存储 ApacheDoris Elasticsearch 支持有限schemachange 支持灵活schemachange •秒级动态增加字段•秒级动态删除字段•秒级动态增加索引•秒级动态删除索引•后台增量构建索引•秒级修改表名、字段名 •秒级动态添加字段•不支持删除字段•不支持增加索引•不支持删除索引•不支持增量构建索引•不支持修改表名、字段名 5实时查询 Elasticsearch ApacheDoris 开放的查询接口，使用简单专用的查询接口，使用复杂 •标准的SQL•开放的MySQL生态•学习门槛低，熟悉后容易盲写 •定制的DSL•私有的ES生态•学习门槛高，熟悉后仍然参考手册和样例 5实时查询 Elasticsearch ApacheDoris 5实时查询 Elasticsearch ApacheDoris 支持搜索和聚合查询支持JOIN等丰富的分析能力 •不支持多表JOIN•不支持更多复杂分析能力 •支持完整的多表JOIN和优化 •INNER/OUTER/CROSSJOIN•LEFT/RIGHTSEMIJOIN•LEFT/RIGHTANTIJOIN •支持更多复杂分析能力•UDF，子查询，窗口函数，逻辑视图，物化视图，湖仓一体... 5实时查询 Elasticsearch ApacheDoris 多种负载上有极速响应点查性能高，分析性能低 •点查性能高：行存+主键+倒排索引 •点查性能高：行存和倒排索引 •分析性能高：列式存储、向量化、跳数索引和物化视图 •分析性能低：列存和简单查询引擎对比总结典型场景和案例典型场景降低安全风险提升系统安全性支持业务分析加速业务增长保障服务稳定提升用户体验可观测性场景—案例1抖音日增数据量8000亿条500TB，写入均值1000w/s60GB/s，峰值3000w/s90GB/s LogTrace场景能够完全支持，标志着Doris几乎能扛住抖音集团绝大部分场景的导入性能需求可观测性场景—案例2网易日志场景替代ES，存储空间降低到原来1/3，查询效率获得10倍提升时序场景替代InfluxDB,服务器节省50%，存储空间降低67% 可观测性场景—案例3观测云 SelectDB提供了适合LogTrace的半结构化类型variant，相比云上ES成本节省70%，全文检索性能提升2-3倍网络安全场景—案例1奇安信基于Doris的安全日志存储空间节省40%，写入性能提升2倍，查询同时支持全文检索聚合统计多表JOIN 网络安全场景—案例2中国电信翼支付基于Doris统一安全数据存储，导入性能提升4倍，存储空间节省50%，查询性能提升3倍网络安全场景—案例3安恒信息 Doris相对于ES写入性能提升2倍，压缩率提升4倍，查询性能提升4倍业务分析场景—案例1抖音电商直播详情页实时写入性能提升3倍：30w/s->100w/s，查询并发提升4倍：500QPS->2000QPS 业务分析场景—案例2腾讯音乐内容库 Doris替换ES和CK，同时满足搜索和分析的需求，存储成本降低80%，写入性能提升4倍，支持复杂分析业务分析场景—案例3360企业安全浏览器 Doris统一了日志检索和报表分析，聚合分析效率提升100%，存储空间降低60%，SQL开发效率提升1倍以上携手共建，勇攀高峰欢迎加入专项群交流 ThanksforWatching！

点击免费查看完整报告