1-1 Doris 在蔚来汽车的应用

Doris在蔚来的应用

OLAP在蔚来的发展

• 2017年引入Druid
• 2019年引入TiDB
• 2021年引入Doris

Doris作为统一OLAP数仓

• 统一OLAP数仓：Doris作为统一的数据仓库解决方案，支持实时和离线数据的存储与查询。

Doris在运营平台上的实践

• 架构图：包含FlinkJobs、信息元信息、Mysql、Doris、Tidb、Spark Jobs等组件。
• 场景需求与Doris功能点：
  • 实时标签数据的实时更新：通过Routineload和Brokerload实现实时离线数据统一。
  • 复杂条件圈选：支持多条件圈选，通过SIMD优化提高效率。
  • 标签值的分布：通过数据分片和存算统一，高效统计标签分布值。
  • 群体的特征分布统计：支持多表关联，高效聚合数据。
  • 效果分析：通过关联任务执行明细、外表查询和联邦查询，实现多维度数据分析。

经验总结

• BitmapES外表分批更新列：
  • Id全集小于1000万，bitmap聚合和直接使用join效率差别不大。
  • Id全集大于5000万，考虑bitmap聚合。
  • Roaringbitmap：不适合聚合查询和多表关联，适合单表查询。
• 在线服务：
  • 聚合模型单独更新某些列，使用REPLACE_IF_NOT_NULL。
  • 尽量用单独的技术方案提供在线服务，避免在线离线场景互相影响。