Apache Doris在正泰集团数据中台的应用实践

背景介绍

正泰集团的数据中台建设经历了从多种数仓方案（SAP BW、SQL Server、GP、Hive等）到自研数据中台，再到全面适配Apache Doris特性的发展历程。集团业态涵盖输配电、电线电缆、集成配电、光伏电站、低压电器、智能家居等多个领域。数据中台具备零代码开发能力，并与IoT平台集成，提供数据驱动的零/低代码解决方案。

数仓架构

正泰集团的数仓架构经历了从基于Hadoop生态架构到基于Apache Doris的架构升级。早期架构包括数据源（SAP、MySQL、SqlServer等）、数据仓库（Hive、Impala、ClickHouse等）和数据应用（NoSQL、RDBMS）。升级后，架构以Doris为核心，整合了Kafka、HBase等组件。IoT平台通过HTTP、TCP、MQTT等多种协议与数据中台集成，Doris用于存储全量IoT数据，并进行准实时数据修正和分析。

数据中台基于Doris应用

数据中台基于Doris的应用包括：

• 权限控制：支持多租户、多项目，提供租户角色控制、项目角色和表级别权限管理，实现数据安全隔离。
• 数据模型：支持表属性配置、字段配置、逆向导入Doris视图模型。
• 流批一体：选择数据源、创建CDC表、启动实时作业、开启监控，实现数据实时处理。
• 内存资源消耗优化：利用Doris Routine Load减少资源内存消耗，优化前后的对比显示显著节省。
• 日志迁移：将日志从ES迁移至Doris，减少中间件，节省资源70%，并通过倒排索引提升日志检索速度10倍以上。

未来规划

未来规划包括数据湖扩展和架构升级，以及大模型集成，进一步提升数据处理能力和应用范围。