8-4 货拉拉大数据治理实践之稳定性保障 - 黎仁全

大数据稳定性保障实践

背景与挑战

• 数据链路复杂：随着公司业务增长，数据链路越来越多，保障任务也随之增加。
• 数据产出不稳定：2021年前三季度，数据产出质量下降，IT成本上升。
• 质量问题频发：指标级和数据表质量问题显著增加。

解决方案

• 制定规范与流程：包括数据设计、开放、变更、测试、发布等规范。
• 监控与应急：监控数据产出时间、表数据质量、业务指标质量，实施质量问题熔断机制。
• 复盘与整改：定期复盘数据质量故障，跟进整改进度，专项治理数据问题。

稳定性保障体系

• 组织保障：明确职责分工，制定标准流程。
• 制度建设：确保制度落实。
• 项目落地：贴合业务需求，追踪成效。
• 平台支撑：研发支撑系统，提高效率。

关键技术与工具

• 稳定性评估体系：涵盖完整性、准确性、一致性、及时性等多个维度。
• 监控工具：如大禹（离线任务）、飞流（实时任务）、鹰眼（指标监控）等。
• 数据质量报告：个人、链路、团队质量报告。

运营机制

• 质量健康分：通过评分机制进行排名。
• 奖励与惩罚：设立治理收益榜单，激励措施和惩罚措施并行。

事前规范与流程

• 数据规范：包括研发流程规范、数据接入规范、任务发布流程规范等。
• 值班应急：建立值班oncall机制。
• 开发规范：规范命名规则、编码风格等。
• 设计规范：规范数仓分层设计。
• 测试规范：保障任务发布的规范性和合理性。

事中监控与应急

• 监控场景：涵盖任务、表、字段、指标等。
• 监控频率：离线任务T+H、T+1、T+M；实时任务准实时5分钟粒度。
• 监控项：完整性、准确性、一致性、及时性。
• 应用场景：提升业务运营感知能力，防止错误数据污染下游。

事后复盘与整改

• 复盘机制：包括复盘流程、文档规范、责任划分。
• 整改治理：优化队列资源抢占策略，治理执行时长大于1小时的任务等。

总结与展望

• 成效：通过监控告警、值班应急等措施提升数据稳定性。
• 思考：如何平衡保姆式与自驱式治理，提升指标监控准确性。
• 展望：智能告警策略、一键式自动化治理、智能预测算法等提升治理效率。