蚂蚁数据治理架构及能力
数据治理通用能力
黄国龙作为蚂蚁集团高级数据技术专家，负责数据智能资产和内容数据资产建设，主导了内容安全数据资产专项建设，关注大数据研发、数据架构、数据治理等领域。
蚂蚁数据治理架构及能力
面临挑战
- 成本增速快：存储资源年增速40%+，计算资源千KCU/日。
- 业务需求多：新业务资源需求旺盛，人工智能发展快，数据需求爆炸性增长。
- 成本看不清：资源使用细节不透明，成本难以分摊到业务。
治理思路
构建从事前->事中->事后，覆盖成本治理全链路的能力。
治理方案
关键能力建设方案包括资源治理、基础平台能力、领域数据治理等。
治理架构
- 资源治理：通过集群资源混部、关键技术优化（引擎优化、模型优化、数仓模型优化、计存设计优化、UDF优化、代码设计优化、计算浪费优化、聚合优化、调度优化）、重复资产治理等手段降低成本。
- 基础平台能力：包括发布管控（事前）、实时巡检（事中）、成本健康分（事后）。
- 领域数据治理：针对安全领域进行智能化数据治理。
资源治理领域案例
- 集群资源混部：推进在离线混合部署，计算算力提升10%，机器成本降低25%。
- 关键技术：提升治理自动化率，实现自动识别、归因分析、自动清理，形成常态化管控能力。
- 冷存体系：设置渐进计算后，每日计算消耗从795CU降到22CU。
- 实例：冷存体系通过空间换时间，自动生成中间表，避免重复计算，提升merge阶段Shuffle效率。
- 基础平台能力实例
- 发布管控（事前）：平台或业务方制定发布管控规则，自动检验结果，规则未通过则上线失败。
- 实时巡检（事中）：禁止随意提交超大任务导致资源池堵塞，仅对异常使用进行管治。
- 成本健康分（事后）：基于累计浪费和时间加成，设计成本健康分算法，管理数据平台使用权限。
- 领域数据治理架构及能力
- 安全领域治理成果：已全部达成年度目标，预估节约数据成本25%+。
安全领域智能化数据治理实践
- 数据集建设阶段
- 采标一体自动化数据链路：搭建采集标注自动化数据链路降本增效，标准化建设蚂蚁安全域超大规模数据集消除数据孤岛。
- 数据集治理：数据集主要有采集、标注、大规模数据集、训练数据集、评测数据集。
- 采标一体化链路：从关键词计算、对接采集、转存及通知、对接标注、数据ETL全链路实现自动化，降本增效明显，数据品质有保障。
- 数据集实例：整合资金各业务特征、标签形成全域样本集。
- 在线运行阶段
- 应用全链路血缘：搭建元数据之应用全链路血缘，助力在线模型策略成本治理优化。
- 在线链路治理：数据资产类型包括策略、特征、模型、协议等90+种，利用二部图模型构造全局资产大图，打破平台间血缘鸿沟。
- 在线链路治理流程
- 影响因子定义：编码器推理、指标数据、效能分变换。
- 影响因子分层：血缘静态引用量、线上流量调用量、决策日志量。
- 数据资产效能评估：基于影响因子特征，统计得到从不同维度评估数据资产效能的源数据。
数据治理探索与创新
- ETL AUTOPIPELINE：自动化ETL流程，提升效率。
- 创新案例大模型Copilot
- 小表D：安全大数据一站式智能研发助手，结合安全特色，深度整合其他数据类大模型，为用户提供丰富的大模型功能，贯穿用户整个数据研发生命周期，在数据分析、任务研发、任务运维、风险发现等日常生产环节提供一站式数据辅助服务，让数据研发更加智能高效。
