5-6 腾讯音乐数据资源管理实践 - 卢宇鹏

01背景
腾讯音乐面临计算资源和存储资源快速增长的趋势，同时存在资源成本管理难点，包括数据量大、涉及人员多、缺乏数仓建设规范（多为烟囱开发模式）、数据开发过程中缺乏成本意识导致资源浪费，以及缺乏数据配套优化工具。

02数据治理方案及实践

• 宏观治理方法论：

  • 对数据表进行分类（核心表、主干表、普通表、僵尸表、停用表），根据访问和扇出频率优化资源分配。
  • 资源时租系统：基于规则的动态扩缩容策略，将计算资源使用精确到小时级别，提升资源利用效率。
  • 分级存储：根据数据访问频率进行分层存储，优化存储成本。

• 数据治理覆盖范围：

  • 统一采集上报口径、规范上报事件模型、监控上报数据治理数据上报，包括模型规范、库表规范、指标规范、编码规范。
  • 数据仓库的元数据管理（数据血缘、数据价值）、数据地图。

• 元数据治理：针对业务指标口径不统一、大数据质量差、缺乏有效监督手段、缺失数据规范监控、元数据冗余、缺乏数据价值量化手段、数据开发缺乏成本意识、数据缺乏安全级别标识等问题，采用Lego元数据解决方案。

  • Lego元数据：通过表的价值评估和案例分析，优化元数据管理。

• 资源预警+大盘分析：通过治理措施，实现资源预警和大盘分析，进一步优化资源使用。

03效果
治理后，计算资源和存储资源增长趋势得到有效控制，资源利用效率显著提升，成本浪费问题得到缓解。