2-1 腾讯欧拉数据治理平台思考与实践 - 虎兴龙

腾讯欧拉数据治理平台的思考与实践

平台建设思路

• 数据治理终态实现：目标是通过数据工业化生产和应用，实现数据工业化、高效业务流程定制、高效数据模型管理、统一存算系统。
• 平台核心能力：数据发现、资产工场、指标平台、治理引擎、大同埋点。
• 建设目标：提升数据治理水平，沉淀安全可靠、使用便捷、质量可信的数据资产。
• 推进方式：平台+专项推进，以资产健康分牵引，提供成本、质量、安全等治理能力。
• 驱动逻辑：通过资产化率提升、数据EPC提升、成本降低、数据更安全等指标驱动治理落地。
• 解决方案：沉淀安全可信的数据资产，涵盖数据生产、数据应用、业务系统、终端埋点、数据接口等环节。

数据开发与治理

• 欧拉数据资产工场：实现开发即治理，通过规范化数据建模提升数据质量，通过DataOps理念提升数据生产维护效率。
• 一站式建模开发、测试发布、质量运维、版本管理能力：涵盖业务架构、物理表、逻辑表、分区、版本代码、维度关联模型、SQL代码、作业调度等。
• Everything is Code：支持历史版本代码、任务、模型对比，提升运维能力。
• 治理引擎：通过治理大盘、治理方案、行动、效果闭环，实现成本、资产现状看得清，治理效果可衡量。

统一指标tMetric

• 现状问题：指标生产随意、统计口径不一、访问层级错乱、数据信心缺失。
• 欧拉统一指标：通过链接数据源、数据建模、维度设定、指标定义、物化计算等流程，实现指标系统标准化。
• 建模流程：基于原子指标自助创建DWS宽表，支持ODS、DWD、DWS、ADS表等数据源。
• 生态应用：涵盖AdHoc统计、特征指标、API、数据talk、业务数据门户等。

数据地图与服务

• 欧拉统一数据资产地图：提供字段名、维度、实体、指标名、维度信息、数仓事实表、指标信息、元数据索引库等。
• 欧拉APICloud服务：实现API生产服务化，通过0代码、可视化配置方式创建API，降低开发投入和技术门槛。
• 服务流程：涵盖数据标准化、数据聚合运算、调度管理、资源申请、部署、服务配置等环节。
• 优势：开发效率高、开发投入低、技术门槛低、反复沟通耗时少、排期开发时间短、资源申请快、易上手。