上汽通用五菱基于 SelectDB 实时数仓实践
上汽通用五菱公司简介
上汽通用五菱公司发展历程：连续14年保持国内单一车企销量冠军，总销量突破2900万辆；连续4年销售收入突破千亿元，排名广西工业企业第一，累计利税超1300亿元。主要产品包括各类汽车车型。
实时数仓建设背景
大数据工作历程：
- 2018年：基于Hadoop开源框架构建企业级大数据平台
- 2019年：构建APP端数据服务，构建数据商店，对外提供数据API服务
- 2020年：成立数据治理球形组织，提供数据服务，构建Hadoop+报表平台，数字化营销
- 2021年：Hadoop正式更名银河大数据平台，构建卓越运营数字化平台（EODP）
背景和痛点：
- 数据量及服务增加，大数据平台处理能力出现瓶颈
- 仅具备离线批处理能力，数据共享API处理超时严重，数据查询效率低
项目目标：
- 保障数据商店API的稳定性
- 支持MySQL的快速迁移
- 支持资源隔离
- 支持极致的数据压缩比
- 支持APP端、报表平台的秒级查询能力
- 支持数据应用的快速响应
- 支持物化视图
- 支持kafka、Flink等实时数据采集方式
- 支持快速的数据处理能力
- 支持数据的快速同步、推送
- 支持外表关联查询
项目解决方案
场景设计：
- 业务场景：准实时数仓(MPP类数仓)+批量离线计算(Hadoop)
- 数据链路：JDBC直连、Catalog/DCT推送、Sqoop同步、API接口
- 服务时效：实时仓提供T+0级服务（秒级、分钟级），离线仓提供T+1级服务（离线分析、历史数据归档）
数仓产品选型：
- 对比Apache Doris（企业级分发版SelectDB）、某G产品、其他商业产品
- 选型考虑因素：兼容MySQL查询、非单一供应商、满足业务场景
- 最终选择：Apache Doris的SelectDB作为实时数仓底座
数仓架构设计：
- 原Hadoop平台架构图（示意）
- 基于SelectDB的架构改造图（示意）
- 基于SelectDB的平台架构变化
- 资源划分：资源保障级、资源限制级、资源共享级
- 资源设计（Workload Group）：紧急重要(A)、重要不紧急(B)、紧急不重要(C)、不重要不紧急(D)
应用成效与价值收益
外表关联的快速查询：
- 物料凭证单表超20亿行，查询速度80ms
- 库存明细表超2亿行，字段超100个，查询速度60ms
业务收益：
- 兼容MySQL，数据开发效率提高35%
- 原MySQL开发的报表平台或BI分析可无感迁移
- 最短任务处理时间由30min下降至5min
- 数据服务APP平均响应时间2s内，平均查询效率提升80%
- 数据商店接口无超时问题，提升使用体验
平台收益：
- 算力提升92%
- 存储提升2.7倍
- 支持湖仓一体查询计算能力
- 应用门槛低，支持MySQL协议和标准SQL
支持工厂生产：
- 产线自动化、智能化水平大幅提升
- 基于SelectDB的平台为工厂生产提供数据算力支持
