大淘宝模型治理_乔光

背景及问题

• 数据规模增长快：大淘宝数据在2020-2022年规模迅速增长。
• 表管理混乱：未归属表占比16%（其中活跃表12%），大量表无人负责或非本团队负责。
• 无效资源占比高：无效表和无效节点占比较高，带来成本、运维和找数据问题。
• 数据规范不足：非数研角色开发的数据在设计、开发等方面规范不足。
• 架构问题：大淘宝缺少统一的数据架构规范，公共层面向分析型数据业务建设不足，数据效率不足。

解决方案

• 模型治理：
  • 无效表下线&ODS同源导入治理：清理无效表，优化ODS数据导入。
  • 公共层专项运营及治理：加强公共层数据治理。
  • 增量管控：控制数据增量，提升治理效率。
  • 产品化工具：
    • DataWorks-智能数据建模：支持业务抽象到数仓顶层规划、可视化建模、逆向建模、指标快速搭建等。
    • DataWorks-数据治理中心：提供检查项、治理项、量化评估体系、资源使用分析等功能。
    • DataWorks-数据地图：支持搜索推荐、数据专辑、智能机器人等功能，实现数据知识集中管理。
• 能力沉淀：通过产品化工具提升数据治理能力。

未来规划

• 评治一体：评估治理流程自动化，结合大模型等技术提升治理效率。
• 供给消费提效：升级智能建模、数据地图、治理中心等产品能力，提升数据设计、开发、上架效率。
• 架构规范管控：提升规范管控能力，将更多管控规则通过产品化分发到研发环节。