淘宝数据治理及稳定性保障实践_郭进士

数据治理背景与方案

治理背景

淘宝数据平台在2020年至2022年间规模快速增长，面临成本、运维效率及数据查找效率等问题。

成本治理

• 机会：通过数据采集、计算和应用环节的优化降低成本。
• 方案：
  • 数据采集：优化网络协议、升级压缩算法、差异化埋点管理。
  • 数据计算：升级Flink版本、引入自动参数调优、合并共性流任务、降低重复消费。
  • 数据应用：HOLO动态扩缩容、下线无效产品页面、实时转离线或小时冻结低重要性任务。
• 效果：80%的成本治理收益通过技术手段实现，治理ROI需结合数据分级治理，业务合理性是持续成本控制的关键。
• 思考：数据分级治理、业务合理性成本治理是核心。

模型治理

• 问题：
  • 规模：数据规模快速增长，无效表占比高（16%），活跃表占12%。
  • 结构：公共层复用率不足40%，自建中间表占比46%，应用层重要DWS覆盖率不足30%。
• 方案：
  • 控规模：明确表归属、清理无效表和节点。
  • 提升覆盖度：产品化+数据驱动思维提升公共层复用率。
• 思考：控制数据复杂度是关键，湖仓一体架构下需建立模型生命周期管控机制。

稳定性治理

• 问题：有限的机器资源下保障核心应用产出。
• 方案：推进重保高基线合理性治理，基线数下降30%。
• 效果：整体基线规范内聚。
• 思考：成本与稳定性相对立，需平衡两者，核心在于识别并迭代核心应用保障策略。

数据治理的未来

• 架构升级：湖仓一体→Data Mesh，分布式数据治理。
• 治理效率：数据驱动→产品驱动→智能化。