1-3 数据治理驱动下的开发治理平台建设

大数据开发治理平台建设

大数据开发治理平台概述

• 平台构成：包含开发模块和治理模块，覆盖数据生产、消费和治理三种场景，服务于数据分析师、RD、算法RD和数据运营等四类用户。
• 背景：大数据技术快速迭代、业务多元化、组织复杂化及数据指数级增长，推动企业建设开发治理平台。
• B站选择：采用自研berserker平台，兼顾成本、集成能力和性能需求。

平台建设之痛

• 问题：平台稳定性不足、业务自建集群效率高、短期收益难、数据治理配合度低。
• 挑战：如何提升数据生产力、落地治理方法论、完善数据驱动成熟度。

数据治理驱动平台建设

• B站平台规模：10000+集群，1000亿日均新增数据，15w+日均作业量，3000+DAU。
• 演进里程碑：
  • 2017-2018：存通用赋能（数据集成、开发IDE、即席查询等）。
  • 2019-2020：数据集成能力（业务数据库接入、流式数据汇聚、元数据集成）。
  • 2020-2022：开发运维能力（任务调度系统、依赖策略支持、监控告警）。
  • 2022：质量治理驱动（SLA保障、智能基线、DQC、回刷工具）。
  • 2022：成本治理驱动（工作空间、用量账单、治理标准）。

关键功能与策略

• 数据集成：支持全量/增量、批流处理，异构数据同步。
• 开发运维：任务调度、依赖管理、代码调试、日志诊断、回刷工具。
• 质量治理：SLA监控、智能基线预警、DQC分级治理、回刷工具修复。
• 成本治理：工作空间管理、用量账单、成本分析、优化策略。
• 产品策略：业务合作优先、新技术调研决策、自持业务、优先级（质量>成本>安全）、运营数据。