SelectDB在上汽通用五菱的落地实践

韦奔运营大数据经理 分享嘉宾-上汽通用五菱 韦奔 运营大数据经理2018年起负责SGMW企业级大数据平台建设，汽车领域数据建设具备丰富经验，先后与团队获得多项市级、区级、国家级数据奖项。 目录 上汽通用五菱公司简介01 实时数仓建设背景02 项目解决方案03 应用成效与价值收益04 上汽通用五菱公司简介 市场表现 •连续14年保持国内单一车企销量冠军，总销量突破2900万辆； •连续4年销售收入突破千亿元，排名广西工业企业第一，累计利税超1300亿元。 主要产品 实时数仓建设背景 背景和痛点 服务背景 从2018年开始自主构建大数据平台，支持公司运营分析。历经4年运行，数据沉淀和服务积累已发生量和质的变化，覆盖从执行层到决策层的数据服务支持。 服务问题 随着数据量及服务增加，大数据平台的处理能力出现瓶颈： •仅具备离线批处理能力；•数据共享API处理超时严重；•数据查询效率低，无法满足秒级需求 项目目标 秒级数据查询能力 •支持kafka、Flink等实时数据采集方式；•支持快速的数据处理能力•支持数据的快速同步、推送•支持外表关联查询 •支持APP端、报表平台的秒级查询能力•支持数据应用的快速响应•支持物化视图 •保障数据商店API的稳定性•支持MySQL的快速迁移•支持资源隔离•支持极致的数据压缩比 项目解决方案 场景设计 综合以上因素，最终选择ApacheDoris的企业级分发版SelectDB作为我们的实时数仓底座 数仓架构设计 基于SelectDB的平台架构变化 资源设计（WorkloadGroup） 资源划分 根据现有使用场景划分，将计算资源分为三个等级：资源保障级、资源限制级、资源共享级。 资源限制 单查询资源限制可以在各个等级之间使用，实现资源的二次限制。 应用成效与价值收益 使用场景 大表单表的快速查询 物料凭证单表超20亿行，查询速度可以达到80ms库存明细表超2亿行，字段超100个，查询速度也可以达到60ms 外表关联的快速查询 大数据平台解决了数据汇聚问题，但实际运行过程中，总有一些手工数据或者业务数据不适合入仓。SelectDB的外表关联查询可以解决异构数据源的关联问题，极大提升了数据服务的灵活性和有效性。 业务收益 •兼容MySQL，数据开发人员可以快速掌握，总体开发效率也随之提高↑35%；•SelectDB完全兼容MySQL协议，原MySQL开发的报表平台或者BI分析可无感迁移，节约大量代码迁移工作量;•最短任务处理时间由原来的30min下降至↓5min。 •数据服务APP平均响应时间2s内，平均查询效率提升↑80%；•数据商店接口无因数仓问题导致的超时问题；提升接口调用方的使用体验，以更准确的数据实现更大的隐形价值。•报表平台查询平均响应时间也缩短至2s内；•直连SelectDB数仓查询，上千万次查询中，最大耗时时间为2.8s 平台收益 存储能力提升 算力提升 SelectDB采用列式存储，具备极高的压缩比，通过减少大量非相关数据的扫描，更加有效利用IO和CPU资源。使用更少的存储资源，存储更多的数据，存储提升2.7倍。 SelectDB是基于MPP架构的高性能分析型数据库，可提供亚秒级数据响应服务。大数据平台整体计算能力92%提升。 湖仓一体能力 应用门槛低 SelectDB支持主流数据湖、数据库的连接访问，可以对数据湖数据进行读取，计算完成的结果入湖。可实现湖仓一体的查询计算能力。 SelectDB采用MySQL协议，高度兼容MySQL语法，支持标准SQL。大多数数据开发人员只要具备MySQL能力，就能进行SelectDB数仓的数据开发。 支持工厂生产 基于SelectDB的平台，为工厂生产提供数据算力支持 ThanksforWatching！