腾讯欧拉如何打造数据自治系统
数据发现与欧拉平台主旨
欧拉平台旨在解决数据生产和使用成本高、数据质量差（脏、乱、差）的问题，其核心是聚焦于可信数据资产的沉淀和交付。平台从业务数据视角出发，通过完善企业数据模型构建与管理，提升物理建模效率，实现数据工程软件工程化。
数仓建模问题与解决方案
数仓表乱的原因
- 三张ADS表的加工逻辑不统一，导致总“曝光次数”对不齐。
- ODS到ADS的转换中，数据冗余和字段冗余严重，导致存储成本高和数据不一致。
- ADS、DWS表依赖错综复杂，存在同层依赖甚至下层依赖上层的情况。
- 同一表结构在不同业务域和主题域重复建设。
解决方案
- 完善企业数据模型构建与管理：通过数据建模进行数据组织、映射，表达数据关系和流向。
- 提升物理建模效率，DataOps数据工程软件工程化：实现数仓建模CRCD（创建、读取、更新、删除）。
数据工程编码抽象与重复检测
纯SQL代码的缺点
- 代码重复度高、复用率低。
- 可读性和可测性较差。
- 无法实现流程控制。
数据工程代码DRY（Don't Repeat Yourself）
- 使用Python和SQL实现流程控制。
- Python实现类似宏的能力。
- 模块化、公共脚本引用。
模型重复检测
检测表完全相同且关联关系（left join|inner join）和过滤条件完全相同的重复模型。
产品效果
提供一站式建模开发、测试发布、质量运维、版本管理能力。
指标治理问题与解决方案
指标治理面临的主要问题
- 指标难以复用，被重复、分散定义。
- 同名不同义、同义不同名。
- 找指标困难，缺少有效发现机制。
- 难以采用版本控制、CICD等工程实践。
- 缺少有效认证机制，使用方缺乏信心。
指标中台与敏捷分析
- 数据分析效率受多因素影响：找数据、算数据、确认数据、分析数据。
- 指标、维度无法穷尽，敏捷数据分析倡导即席定义指标、维度，即时分析。
- 指标中台产品定位：规范化指标生产和统一服务，收敛指标口径，提升分析效率，同时最大化指标定义的敏捷性。
标准化指标定义
- 统计周期。
- 业务限定。
- 维度。
- 度量。
tMetric物化加速方案
- 指标元数据管理：通过指标模型实现指标标准化、规范化生产，统一管理指标口径，提供指标认证机制和权限控制。
- 物化管理：自动解析来源表依赖，自动创建物化计算任务，提供例行调度、回溯等能力，对接多种存储引擎。
- 查询服务：支持trpc、http、MQL，动态路由、缓存加速。
数据发现与未来数据分析效率提升
完备的全域数据知识图谱
基于chatGPT的“渐进式”数据分析场景，完备的数据资产体系对AI for BI的可能性：
- 手Q本周用户活跃情况分析。
- WAU上涨因素归因分析。
- WAU变化与人均聊天时长、一度好友数的关联关系分析。
- 手Q指标变化与近期社会实践的关系分析。
完备的数据资产体系对未来数据分析效率提升的可能性
假设直接调用大模型的API，增强分析的流程：
- 数据发现与理解。
- 指标定义与标准化。
- 数据查询与分析。
- 结果解释与验证。
