字节跳动一站式数据治理架构与实践_王慧祥

字节跳动一站式数据治理架构实践

一、机遇与挑战

1. 治理效益与业务影响的矛盾

   • 业务系统和生产流程改造影响业务
   • 需求难以统一，全局策略难以落实
   • 保障治理大目标，无法顾及业务个性需求
   • ROI评估：治理收益、时间周期、业务影响

2. 治理涉及的组织和管理难度

   • 角色多、范围广、链路长
   • 治理目标对齐、管理、跟进难度大
   • 组织越复杂，数据治理难度越大

3. 规范“人”的动作难度

   • 人员能力参差不齐，对齐目标和优先级困难
   • 治理操作依赖人，规范对人的偏差操作容忍度低
   • 组织文化差异，数据治理落地的方法、挑战、成效各异

4. 缺乏适配性强的产品工具

   • 现状、问题客观工具缺失
   • 缺乏全局视角工具，直接跳入治理细节
   • 跨部门、跨系统治理目标对齐、协商缺乏治理全流程工具
   • 平台工具不够灵活，只能解决通用治理问题

二、字节跳动数据治理理念

• 分布式数据自治
  • 传统式治理 vs 分布式治理
  • 分布式治理组织与制度、职权与管理、成果抽查
  • 分布式治理平台：灵活的自治模式、产品辅助业务自驱、沉淀业务经验、开放能力
  • 基础能力层：流程框架层、健康分扣分分析、问题定位、实施治理
  • 核心能力：数据治理基础、资产清晰、规则丰富、动线完整、收益准确、数据驱动规划治理、智能推荐、开放能力

三、分布式数据治理架构及实践

1. 分布式数据治理平台

   • 逻辑架构：Metadata仓库、治理规则引擎、优化工具集、收益核算
   • 核心能力：资产清晰、规则丰富、动线完整、收益准确、数据驱动规划治理、智能推荐、开放能力

2. 治理动线

   • 推动者动线：制定策略、圈选资产、设定周期、跟踪治理效果、调整规则、常态化治理
   • 实施者动线：个人健康分、数据运营推送、治理操作入口、诊断明细、成本优化、SLA治理查看操作明细、治理效果跟踪、资产状态Review

四、数据驱动治理

1. 资产体系建设

   • 数据分析与展示能力
   • 数据特征划分主题域
   • 全链路保障数据采集
   • 从源头对资产数据打标

2. 评估体系建设

   • 存储计算质量
   • 无效存储、异常存储、TTL不合理、数据无查询、小文件数过多、存储格式不合理、连续失败、无效计算、异常计算产出表为空、资源申请不合理、数据倾斜、低优任务调度在高优队列、数据及时性、数据内容质量监控告警任务稳定性、元信息完整性、SLA缓冲不足、核心任务缺失、质量监控质量监控不达标、告警配置非核心任务配置夜间值班计划、高优任务运行在低优队列、层级信息缺失、描述或中文名缺失

3. 规则体系建设

   • 数据模型：数据建设、分析挖掘、规则建模
   • 规则体系：存储规则、计算规则、质量规则、报警规则
   • 资产圈选：资产维度、特征细节、指标范围、完备的治理规则能力
   • 规则分类：生命周期规则、统计类规则、挖掘类规则
   • 用户自定义规则

4. 智能提效

   • 精细化推进资产治理
   • 治理目标推荐：减少存储层压力、温存推荐、通过打分机制推荐
   • 参数自动优化：访问得分、访问周期、访问次数、总文件大小得分、目录总大小、文件平均大小、元数据平台目录得分、基础库、核心目录减少进入温存得分、跨机房访问状况
   • 阶梯分层推荐TTL：访问热度、表分层、ODS、DWD、表类型、全量表、增量表
   • 数据预测治理收益：单资产多操作收益预估、Max(O1,O2)、多规则的目标计算、Max(R1,R2,R3)

五、智能化治理探索

1. 基于血缘和热度的推荐
   • HDFS审计日志、Yarn应用离线任务执行