8-3 货拉拉数据治理平台建设实践 - 陈元

货拉拉数据治理体系与数据质量平台建设实践

一、数据治理体系

1. 背景与现状

   • 成本问题：上游数据变更引发故障、模型重构、数据字典不规范、大量全量抽数、实时流未压缩、不合理的分区策略、数据表没有生命周期、无效任务空跑、任务发布流程不规范、缺乏全局模型规范、实时数仓缺乏公共层、应用数据没有生命周期管理、链路长不稳定、产出不及时、缺少监控规范，数据问题不能及时发现。
   • 数据质量问题：表未按时产出、上游表数据错误污染下游、埋点数据丢失、报表指标数据异常。

2. 数据治理关键环节

   • 组织保障：明确职责分工。
   • 制度建设：制定标准流程，保障落实执行。
   • 项目落地：贴合业务，追踪成效。
   • 平台支撑：研发支撑系统，提质增效。

3. 数据治理产品体系

   • 大数据基础平台：基础层、离线计算、实时计算、资源管理、大数据存储、基础元数据、在线数据存储、HBase、实时数据接入、埋点数据接入、数据对账、数据链路监控、离线数据接入、数据接入平台、接入层、数据门户、权限中心、个人中心、内容管理、知识库、建议反馈。
   • 数据仓库：数据研发平台、飞流实时开发、BQ数据查询、IDP数据集成开发、数据仓库DWB、基础整合层、DWT明细数据层、数据湖接入（T+1、近实时、实时）、DWS公共汇总服务层、用户集市、司机集市、主数据库。
   • 数据服务：数据工具箱、自助分析、可视化大屏、数据服务工具、预警/告警监控、多维分析、固定报表、AB Test、特征平台、大数据分析平台、数据应用支撑服务工具。
   • 应用层：智能营销、智能广告投放、实时报表、鹰眼监控、经营分析、用户分析、数据治理平台ODS贴源数据层、DWS公共汇总服务层、DIM、DWD明细数据层、DWB明细数据整合层、用户集市、司机集市、指标库、AI平台辅助决策类应用、赋能业务类应用。

二、数据质量平台建设实践

1. 面临的数据质量问题

   • 表未按时产出、上游表数据错误污染下游、埋点数据丢失、报表指标数据异常。

2. 产生数据质量问题的原因

   • 技术端：业务源系统变更、业务端数据输入不规范、数据开发 SQL bug、任务流程、参数、配置错误、计算资源不足、机器硬件问题。
   • 管理端：缺乏质量意识、缺乏有效质量问题处理机制。

3. 数据质量保障思路

   • 制定质量管理机制、数据质量标准、质量检测规则、监控原始数据质量、监控数据中心质量、反馈数据质量问题、修复数据质量问题、收集数据质量需求、完善质量管理制度、完善数据质量标准、考核数据质量水平。

4. 数据质量平台

   • “零”代码一站式质量检测、全链路监控、全方位质检报告。
   • 系统架构：高稳定、高效率、熔断阻塞、任务管理、规则配置中心、质量报告、日志服务、网关服务。
   • 分析效率：使用混合引擎(Presto)提升分析效率，P80质量检测任务5秒内完成，P98质量检测任务提速79%（915s -> 192s)。
   • 规则体系：完整一致准确及时规则模板、表实例规则模板、规则模板表实例、元数据管理平台、数据标准、空值检查、波动检测、数据量检测、唯一性检测、长度检测、值域检测、正则匹配、自定义SQL质量检测规则。
   • 熔断机制：任务节点输出表1输出表2输出表3表1规则表2规则表3规则123强规则优先执行、周期性任务执行、触发质量规则校验、强规则不通过、周期性任务熔断阻塞下游任务节点。
   • 质量报告：多维度质量分析报表、多角度质量绩效评分、支持用户自定义评分依据和权重。
   • 监控告警：及时发现数据质量问题，告警级别与告警方式：一般 -> 邮件，重要 -> 邮件+飞书，严重 -> 邮件 + 飞书 + 电话。
   • 数据质量平台：1500+ 张接入的表数量，100%核心链路表覆盖，300+ 次/