蚂蚁安全EB级数据治理探索与实践
数据治理面临的挑战
- 行业挑战:金融支付行业数据规模大、加工复杂、成本增长快,数据复用难,安全生产问题突出,数据孤岛严重。
- 组织方面:数据架构设计不足,数据互通难,如2019年4月ODPS离线集群存储使用率达85%超安全水位线。
数据治理思路
- 平台建设:搭建平台化治理工具,形成自动化治理机制。
- 规范制定:制定数据架构规范、资产研发管理规范、数据治理管控规则、数据研发安全生产规范。
- 组织设计:成立数据架构小组,设立数据管理岗位及晋升通道,制定跨BU数据研发协作机制和流程。
- 业务支撑:通过资产升级战役拉动规范传播,文化建设,运营活动等方式推动数据治理。
数据治理架构
- 能力层:包括成本大盘、统一血缘中心、治理识别能力(研发识别、发布管控)、资源监控集市、混部调度、三无识别(重复识别、穿透识别)、治理应急治理、感知(无效标记、重复标记、异常标记、影响评估、一键回滚、链路重跑)、应用场景管理、应用资源风险与自治、应用全链路治理。
- 系统层:涵盖研发阶段和生产阶段的数据治理能力。
- 业务层:涉及业务数据治理大盘系统。
数据治理在安全场景实践
- 开源节流:
- 混部集群迁移:通过迁移混部集群提升资源利用率,动态扩容,保障稳定性,如杭州专用集群迁移至深圳混部集群。
- 混部任务治理:优化任务调度,减少资源浪费。
- 存储治理:
- 模型优化:通过存储周期优化、模型重构重排压缩、重排键识别、旁路重排等方式优化存储,收益达30%。
- 存储归档:采用RAID格式存储,实现冷数据归档,成本分级优化。
- 计算治理:
- 合并计算:通过合并相似计算任务,优化执行计划,提升效率。
- 进一步探索:引入渐进计算、Dynamic Filter、Hash Cluster等方法,优化读取IO及计算。
- 应用全链路血缘:
- 整体链路:涵盖离线数据和在线应用血缘,让数据生产和消费链路白盒化。
- 成本&价值量化体系:通过流量层、路网层、应用层,实现成本分摊和价值度量。
数据治理思考与展望
数据作为生产要素,要被使用、消费并发挥价值,需推动数字化、智能化、市场化。