美团-宋洪鑫-高效保障数仓一致性：美团数仓智能构建与治理平台的探索

数仓智能构建与治理平台的探索

背景

• 数据指标多，增长快：业务发展导致数据指标急剧增加，某些业务指标达到数千个。
• 应用层开发需求多：ETL任务占比高，日常变更任务繁多，需求主要来自应用层。

痛点

• 口径乱、一致性问题多：部分业务指标存在不一致情况，占比超过10%。
• 事后治理，难收敛：仅通过下线、换指标名等方式无法根本解决问题。
• 应用层开发效率低：复用性差，ETL任务开发耗时长。
• 指标口径变更协作难：一个指标变更需要人工同步多个ETL任务。

亮点介绍

• 指标定义一致：基于数据域和业务过程的统一定义规范，确保指标定义无重复、无歧义。
• 加工一致：基于明细模型定义指标唯一的计算口径，所有下游ETL自动复用，同步修改。
• 消费一致：基于模型内容与指标维度语义，提供统一的查询路由元数据服务。
• 数仓规划服务：顶层设计数据域、业务过程、总线矩阵等，指导和约束数仓规划和建设。
• 规范落地：正向建模，强校验分层、主题、词根等规范100%落地。
• 应用层开发提效：基于组件模型语义，复杂指标公式，预聚合配置，自动生成ETL任务等。
• 组件层配置提效：根据词根快速定义模型和指标维度的计算口径，表之间的ER关系；双向门设计支持逆向建模等。
• 变更提效：一处修改全局生效，可级联变更、测试、发布、回溯等。
• 指标维度资产：指标之间的层级关系、计算口径清晰可见，以及可被分析的维度支撑应用分析评估。
• 模型资产：模型与指标、业务过程绑定，增强理解数，提升找数效率。

智能化解决方案

• 一致性保障：通过原子指标管理、结构化分层管理解决“同名不同义”问题；手动构建指标口径，统一到组件模型，确保唯一，下游模型自动构建复用逻辑。
• 查询路由：通过统一的模型路由服务，保证明细组件模型、聚合模型均可查且语义保持一致。
• 开发效率支持：构建语义组件模型，支持ER模型和多表模型，灵活配置语义。
• 任务性能保障：自动裁剪、引擎参数、运维参数、谓词下推等。
• 兼顾业务高优需求：允许从聚合层进行组件建模定义，指标技术口径定义规范，指标口径管理规范。

落地效果

• 智能构建模型数量：1000+以上，新增占比60%以上。
• 应用层ETL开发时长：由人均3PD降至1PD左右，提升约4倍。

组织保障

• 数仓架构师共识建模方法：推动使用新生产模式的决心。
• 产研支持：不同优先级需求的协同。
• 工具能力：构建能力支撑场景覆盖度，关注工具使用效率，双向门的设计。
• 流程协作：让用户形成黏性，深度BP机制，快速突破卡点。

总结与展望

• 智能构建能力的持续迭代：支持更多复杂指标、维度的构建能力，基于指标维度结构特征、标签生产能力，一套配置化语义在多引擎执行的能力。
• 分工探索：自助物化VS全局物化VS透明物化，优化资源效率，开发效率挑战：变更、运维。

感谢聆听！