4-3 货拉拉全链路监控体系的落地与实践 - 曹伟

货拉拉全链路监控体系的落地与实践

监控演进史

• 行业演进：从早期简单日志记录到分布式追踪、指标监控，逐步发展为全链路监控体系。
• 货拉拉演进：从原生Skywalking架构到支持百万TPS的Trace 2.0，再到采用冷热分离和差异化采样的Trace 3.0及自研KV存储的Trace 3.x。

货拉拉监控体系架构

• 埋点方式：采用字节码增强技术实现无侵入式埋点，对比原生方式（依赖Filter/Intercept或修改源码）具有侵入性低、维护成本低、接入便捷的优势。
• 字节码增强技术：通过Java Agent在Class加载前或内存中修改字节码，常用框架包括ASM、Javassist和ByteBuddy，其中ByteBuddy性能最优且易用。
• 埋点优势：基于字节码增强的JAVA SDK可实现零代码接入，轻量且灵活。

全链路Trace建设

• 架构演进：
  • Trace 1.0：原生Skywalking架构，无法支撑全量业务。
  • Trace 2.0：支持百万TPS，日均处理100TB Trace数据。
  • Trace 3.0：采用冷热分离，1小时内全量采样，降低约60%的存储和计算资源成本。
  • Trace 3.x：自研KV替换HBase，优化LSM-Tree Compaction规则，存储机器成本降低90%。
• 采样策略：
  • 常规采样：基于TraceID无差别采样，简单但信息保留不足。
  • 错、慢、核心采样：基于APPID、Span等信息精细采样，保留更有价值的错、慢、核心服务数据。
  • 完整采样：通过Kafka延迟消费+Bloom Filter实现无损采样，保留完整调用树，对比阿里鹰眼（纯内存方案）和字节跳动（部分采样）更具优势。
• 冷热分离：1小时内全量采样热数据，1小时外保留错、慢、核心链路冷数据，降低约60%资源成本。

可视化建设

• “所见即所得”：整合Metric、Trace、Log，实现业务闭环，提供全局稳定性分析和微服务治理能力。
• 价值：快速定位问题、提升全局稳定性、实现微服务治理、高ROI。

发展方向

• 自研存储、根因分析、指标告警联动、服务拓扑，并回馈开源社区。