B站-高隆-数据治理运营框架 -- 实现亿级费用减省的操作系

讲师简介

讲师：高隆，主题为“表哥DAMAB站数据成本治理数据质量”。

目录

• 分析工具：DAMA-Bok
• 案例1--2022-05-11存储水位风险
  • 虚拟组织•嵌入治理•元数据管理
• 案例2--2023-10-30数据丢失复盘
  • 质量运营•质量的需求与满足•数据治理中的风险
• 数据管理知识体系DAMA-DMBOK

DAMA-DMBOK介绍

• DAMA成立于1980年，是全球性数据管理和业务专业志愿人士组成的非营利协会，致力于数据管理的研究和实践。
• 知识体系包括：
  • 车轮图：11个知识领域
  • 26边形图：每个知识领域的7件事情
  • 语境关系图：每个知识领域可展开成具体活动、方法、目标、指标
  • 12原则：采取行动和判断时的依据

案例1--2022-05-11存储水位风险

案例背景

• 名词解释：
  • 存储水位：HDFS集群存储
  • 部门数管：部门的“CDO”
  • Quota：部门预算资源分配
  • A级数据：多为跨部门使用数据
  • Trash数据：一般存7日
• 案例背景（2线6问）：
  1. 存储水位风险是什么？
  2. 如何解决存储水位风险？
  3. 存储水位风险如何监控？
  4. 存储水位风险如何处理？
  5. 存储水位风险如何预防？
  6. 存储水位风险如何评估？

问题与挑战

• 需要观察发布的治理项目是否有在被顺利执行
• 需要观察问题新增速度是否远远大于处理速度
• 需要评估使用人力参与数治理的工作是否合理

破题思路

• 变更方案：
  • Part1：数委会--活动
  • Part2：嵌入治理
    • Quota–old (till 2022.H1)
    • Quota–v1.0
  • Part3：元数据的应用--资产账单
  • Part3：元数据的管理--元模型
  • Part3：元数据的管理--元数据的指标与标签

TakeAway

• 数据治理运营框架：
  • 开发元数据增强数据管理能力
  • 开发治理策略提高问题处理效率
  • 开发基建降低问题产生的几率
• 数据治理需要操作系统

案例2--2023-10-30数据丢失复盘

• 质量运营•质量的需求与满足•数据治理中的风险

微信官方公众号

• 哔哩哔哩技术 关注 查看 更多B站 技 术 分 享
• 壹 佰 案 例 关注 查看 更多 年 度 实 践 案 例