Apache Doris在福特中国的应用

Doris 应用与架构分析

面临的问题

• 成本问题：机器成本和数据库用户（DBU）成本较高。
• 实时查询能力不足：提供数据服务时，实时查询能力非常弱，尤其是在并发查询方面，因为查询技术基于 Apache Spark。

解决方案

• 使用 Apache Doris 提供实时热数据查询能力。

架构设计

• 数据管理：涵盖数据管理、数据监控、数据服务、数据分析等多个环节。
• 数据源：整合多种不同的数据源，包括 MySQL、Databricks 等。
• 数据处理：涉及数据脱敏、数据清洗、数据转换、数据加密、数据压缩等多种处理功能。

Doris 服务架构

• Doris BE 服务：负责数据存储和处理。
• Doris Follower 服务：提供服务状态管理。
• 服务状态集：包括 Doris Follower 集群和 Doris BE 集群。
• 数据存储：使用 PersistentVolumeClaim 进行持久化存储。

常用功能

• Spark Doris 连接器：用于数据连接。
• Doris Streamloader：用于数据加载。
• 物化视图：提供高效的数据查询能力。

总结

Doris 通过解决高成本和实时查询能力不足的问题，提供高效的数据管理和实时查询服务，适用于多种数据源和处理需求，具备强大的数据处理和查询功能。