1-3 赵国祥 - 抖音集团大数据血缘演进与应用

抖音集团大数据血缘演进与应用

抖音集团血缘整体介绍

• 建设背景：数据体量庞大，实体关联复杂，单一实体属性元费站无法满足需求，需构建全覆盖、精细化的全链路血缘。
• 血缘整体链路：将数据血缘抽象为点和边，解决数据关联问题。
• 血缘衡量指标：
  • 血缘覆盖率：任务成功解析数量 / 任务接入数量
  • 血缘准确率：（任务成功解析有效量 - 异构解析有效量） / 任务接入数量
  • 血缘完整率：定格任务有效量 / 任务接入数量
• 血缘整体生态体系：构建全面精准的血缘系统。

抖音集团血缘系统架构

• 建设挑战：
  1. 如何精准化解析细粒度血缘
  2. 如何覆盖非结构化数据源
  3. 如何跨不同Region的机房血缘
  4. 如何覆盖调用较大的应用端调用血缘
• 解决方案架构：
  • 精准化解析：基于Antlr + Calcite的统一SQL解析器。
  • 统一解析服务：将计算任务代码白盒化，实现任务内的算子级血缘。
  • 血缘接入服务：
    • 生产血缘：统一Schema，实现任务内的算子级血缘。
    • 跨Region血缘：消除不同Region之间的血缘断点问题，打通全Region网络。
    • 应用血统：连通数据产品应用终端与大数据之间的血缘，实现全生命周期物理血缘。

抖音集团血缘应用场景

• 数据开发场景的应用：
  1. 快速查看数据计算来源
  2. 评估变更影响的范围
  3. 实时开发任务慢放
  4. 数据开发及时预警
  5. 数据模型重构高效切换
• 数据治理场景的应用：
  • 数据治理核心目标：质量、成本、安全
  • 在防成本+ 计算既术，盗件计算链择既术

未来展望

• 数据血缘未来规划：
  • 效率：
    • 标准化：建立设产义，接入全位社标注化
    • 利用机器学习建立综合数揭，提升投取，置括生产效率
  • 开放化：
    • 利用全注随止举效恶，提于标化的证秀，开
  • 精细化：
    • 一专构泽精组化的立
    • 利用全随请血等款，赋能安全合划荣路