蚂蚁数据成本治理实践总结
背景介绍
随着资源增速加快,业务盈利能力受稀释,单纯依靠硬件和引擎红利难以满足成本控制需求。平台视角下资源使用效率不透明,业务视角下平台效率也难以看清,因此开展数据成本治理。
组织设计和职责定义
通过合理的组织架构和职责定义,实现治理快速落地并达成目标。组织架构包括技术战略、业务CTOs、全域架构组、数据智能架构委员会、数据工作组、数据成本治理小组等,明确平台体系定价体系建设、用量体系建设、治理策略挖掘和方案设计等职责。
蚂蚁成本治理实践
成本治理实践从定价用量管理、单价治理、用量治理、平台能力四个维度展开:
定价用量管理
- 建立平台产品化计量计费体系,透明化计算/存储使用量及成本。
- 建立P&L管理定义关键指标,包括成本指标和效率指标。
单价治理
- 提升配额利用率,降低单价。
- 结合时效承诺,寻找资源瓶颈,通过价格引导和技术能力提升资源利用率。
- 存储资源I/O吞吐能力优化,CPU、内存、网络利用率提升。
用量治理
- 管治结合,数据治理策略包括计算治理(数据倾斜优化、暴力扫描数据裁剪等)、存储治理(存储生命周期缩短、大字段结构化简单加工等)。
- 制定规范,建立标准,落实管理,持续优化,需求审计。
平台治理提效
- 成本健康分:基于累积浪费和时间加成,升级算法,覆盖N个核心研发平台,实现7*24业务可用。
- 事中成本管理:大任务自动查杀,避免随意大任务提交导致资源池堵塞;特殊任务白名单开放。
- 事前和事后成本审计:新上线资产3天内预测未来一年成本消耗;存量历史资产定期TOP review;持续追踪评估成本消耗合理性。
核心观点与结论
- 数据成本治理需从组织架构、定价用量管理、单价治理、用量治理、平台能力等多维度综合推进。
- 通过健康分、事中查杀、事前审计等技术手段,实现成本透明化、资源利用率提升和成本管控。
- 目标是让数据更加普惠、经济,人人用得起、用得爽。