蚂蚁安全EB级数据治理探索与实践
数据治理面临的挑战
- 行业挑战：金融支付行业数据规模大、加工复杂、成本增长快，数据复用难，安全生产问题突出，数据孤岛严重。
- 组织方面：数据架构设计不足，数据互通难，如2019年4月ODPS离线集群存储使用率达85%超安全水位线。
数据治理思路
- 平台建设：搭建平台化治理工具，形成自动化治理机制。
- 规范制定：制定数据架构规范、资产研发管理规范、数据治理管控规则、数据研发安全生产规范。
- 组织设计：成立数据架构小组，设立数据管理岗位及晋升通道，制定跨BU数据研发协作机制和流程。
- 业务支撑：通过资产升级战役拉动规范传播，文化建设，运营活动等方式推动数据治理。
数据治理架构
- 能力层：包括成本大盘、统一血缘中心、治理识别能力（研发识别、发布管控）、资源监控集市、混部调度、三无识别（重复识别、穿透识别）、治理应急治理、感知（无效标记、重复标记、异常标记、影响评估、一键回滚、链路重跑）、应用场景管理、应用资源风险与自治、应用全链路治理。
- 系统层：涵盖研发阶段和生产阶段的数据治理能力。
- 业务层：涉及业务数据治理大盘系统。
数据治理在安全场景实践
- 开源节流：
- 混部集群迁移：通过迁移混部集群提升资源利用率，动态扩容，保障稳定性，如杭州专用集群迁移至深圳混部集群。
- 混部任务治理：优化任务调度，减少资源浪费。
- 存储治理：
- 模型优化：通过存储周期优化、模型重构重排压缩、重排键识别、旁路重排等方式优化存储，收益达30%。
- 存储归档：采用RAID格式存储，实现冷数据归档，成本分级优化。
- 计算治理：
- 合并计算：通过合并相似计算任务，优化执行计划，提升效率。
- 进一步探索：引入渐进计算、Dynamic Filter、Hash Cluster等方法，优化读取IO及计算。
- 应用全链路血缘：
- 整体链路：涵盖离线数据和在线应用血缘，让数据生产和消费链路白盒化。
- 成本&价值量化体系：通过流量层、路网层、应用层，实现成本分摊和价值度量。
数据治理思考与展望
数据作为生产要素，要被使用、消费并发挥价值，需推动数字化、智能化、市场化。
