vivo数据集成稳定性与数据质量保障及可观测实践_易龙

vivo数据集成稳定性与数据质量保障及可观测实践

1. 数据集成平台架构及功能

• 平台名称: Bees，一站式数据集成平台
• 数据接入: 支持多种数据源，包括Kafka、Mysql、MongoDB、Pulsar等
• 数据目标: Kafka、Pulsar、Hive、CK、Hudi、HBase等
• 数据量: PB级/日，万亿级/日
• 数据完整性: 99.999999%
• 数据时效性: 500ms

2. 稳定性保障实践

• 架构组件:
  • 多活高可用: 核心服务和服务存储跨机房容灾
  • 健康检查: 核心组件心跳上报
  • 标签隔离: 不同业务任务分配不同标签
  • 实时链路容灾: SDK落盘重发机制
  • 离线链路容灾: HDFS主备切换
• 规范变更发布流程: 低峰期变更要灰度，明确版本功能和灰度指标

3. 数据链路数据质量保障实践

• 数据完整性:
  • 双接入: 离线实时双接入
  • 对账方式: 离线全链路对账、实时全链路对账、核心业务双链路对账
• 数据时效性:
  • 实时感知: 采用定时轮巡+inotify组合，毫秒级感知
  • 实时日志感知: 毫秒级内容变化事件的感知
  • 任务延迟积压处理: 通过任务依赖图分析，识别关键任务

4. 可观测实践

• 可观测体系:
  • 统一可观测平台: 统一指标可聚合、追踪请求范围
  • 故障处理: 通过日志获得指标数据，进行聚合和转化
• 落地实践:
  • 影响因子确认: 信息标准化、层级类型收敛
  • 恢复流程: 完善日志、追踪和指标关联，自动化处理
• 变更故障自感知:
  • 多维度识别: 关联变更信息、业务链路依赖和监控信息
  • 自感知处理: 实现变更故障自感知

5. 未来规划

• 提升可观测性: 场景覆盖度
• 可观测平台能力: 根因分析（从专家模型向智能模型发展），增强自动恢复能力