阿里巴巴数据稳定性治理实践

DataWorks基线运维实践总结

核心观点与问题背景

• 数据稳定性挑战：数仓工程师面临单任务稳定性值班、24小时高压力运维、误报频发、协作复杂等问题，导致资源有限但业务需求不断增加。
• 单点运维案例：下游表责任人要求时效保障导致资源浪费；任务频繁失败但无责任人处理；运维补救任务影响重点任务产出；数据源头问题导致数据不可用。

阿里数据稳定性治理方案

• 治理原则：通过合理人力协作及治理工作，保障业务所需重点数据及时、准确产出，满足数据对业务的约定。
• 重点数据定义：基于业务重要性分级，以链路视角进行稳定性运维管理。
• 基线监控：DataWorks独创的智能基线监控技术，针对核心应用任务组及其上下游节点，通过基线提高对业务运行情况的认知，前瞻性优化保障稳定性。
  • 优势：智能分级调度与资源分配、智能预测与告警、全链路智能诊断与排障。
• 数据质量保障：通过强弱质量规则保障数据准确性，覆盖入口层到出口层，从源头到应用进行全面监控。
• 团队协同：研发协作流程与高等级业务应用强关联，稳定性治理团队基于基线协调各环节保障。
• 责任制定：明确基线负责人、基线评审委员会、任务负责人、业务数仓稳定性负责人、平台运维接口人的职责。

数据稳定性治理实战

• 常见基线问题发现：预警（影响产出的超长任务、单点运行失败、全链路运行变慢）、报警（单点运行失败、全链路运行变慢）。
• 运维操作：停止任务+重跑/续跑、置成功、去除依赖。
• 根因分析总结：同步任务问题（上游梳理优化、风险任务优化、关键链路优化）、调度&计算问题梳理。
• 数据稳定性治理评估：建立评估度量体系，评估治理效果。

事前稳定性治理

• 主动式治理：分业务阶段确认治理方法，明确治理领域和维度，以及需生效的治理策略，主动化的治理手段融入数据流程持续运作。
• 阿里巴巴数据治理平台构建：以数据中台方法论为指导，支持从业务抽象到数仓顶层规划，设置模型设计空间，统一管理不同研发空间的数据模型。
• 事前检查项：基于DataWorks内置检查项，对于治理问题的新增引入进行自动预防拦截，提升事前问题拦截率。
• 嵌入式治理：开发阶段嵌入式治理规范/模型/计算/存储，测试阶段嵌入式治理稳定/质量，发布阶段嵌入式治理规范/稳定/计算/存储。
• 治理成效：实现开发即治理，提前发现风险任务，主动式、可量化、可持续的全链路数据治理。

案例成效

• DataWorks服务阿里云上千行百业：
  • 某头部音视频客户出海300人团队使用数据5000+CU资源使用。
  • 某金融客户处理完成3000+问题构建全链路数据治理体系。
  • 某互联网客户数据质量规则数量提升4倍拦截数百个风险问题。
  • 某零售团队年度降低90人日起夜时长起夜率降低60%。