6-1 T3出行湖仓一体架构下的统一指标平台

统一指标平台建设

1. 为什么需要统一指标

• 指标定义：指标是量化事物的工具，用数字描述抽象事件，反映业务规模、程度、比例。
• 需求背景：数据质量、指标口径问题、追溯困难，需要统一指标平台实现指标一体化管理。
• 平台定位：核心指标分析、拆解、异常检测、运营归因、预测估算，服务全公司运营决策。

2. 湖仓一体下的统一指标平台架构

• 旧架构问题：网状模式导致数据处理复杂、口径不统一、变更难同步。
• 新架构优势：中心化模式通过规范化事实表和维表，统一业务口径，增强数据一致性。
• 架构对比：中心化模式在规范化、可观察性、一致性、上下游耦合性上优于网状模式。

3. 统一指标平台的实现

• 语义层设计：ABC自动化调度、关系维护、版本控制，实现指标语义化。
• 数据集设计：基于星型模型，维表可对应多数据集，事实表对应唯一数据集。
• 数据集一致性：维表变更自动探索并通知维护，创建多版本Cube。
• 指标定义流程：一站式界面化编辑，支持语义文件创建、Cube配置、定时构建。
• 计算引擎选择：Kylin引擎支持ANSI SQL、湖仓生态数据读取、亚秒级查询。
• Kylin引擎优化：存算分离、动态资源分配、Hudi表读取、动态Shuffle。
• Kylin压测结果：16个维度，单分区8000w数据，吞吐量1178.66 KB/sec，异常率0.00%。

4. 未来展望

• 功能迭代：指标趋势预测、热点指标关注、预测估算。
• 无缝切换：测试配置无缝切换到生产环境。
• 实时指标接入：引入实时计算引擎，支持离线与实时指标融合。
• 指标管理独立：抽取数据集和指标管模块，独立指标管理。
• 融合离线实时指标：采用StarRocks引擎支持离线实时指标统一管理。