8-2 网易日志采集传输服务建设与优化

网易日志采集传输服务建设与优化

网易日志采集传输服务发展

• 业务特点：数据量大、数据链路长、数量波动大
• 系统设计目标：高吞吐、低成本、高可用、高可运维
  • 支持海量日志采集，低延迟
  • 链路中部分节点异常无影响
  • 用户自助式监控与报警服务
  • 降低网络带宽、计算&存储成本

Datastream-ng总体设计

• 分层架构：未详细展开，但提及分层设计
• 数据流图：未详细展开，但提及数据流图
• 整体设计原则：
  • 快流转：
    • 自定义传输数据包与协议
    • 数据包拆分为管控信息+数据信息
    • 支持协议升级，兼容多版本数据格式
    • 数据包支持批量压缩
  • 无状态：
    • Back Pressure模型 & 基于信用的流量控制 & 可靠传输
    • ACK点位信号由目的端发送给源端
    • Checkpoint由源端记录最近的从目的端收到ACK点位
    • 下游异常时，源端回溯到上次Checkpoint位点重试
    • 保证At Least Once
  • 自适应：
    • 内存池化管理 & 流量自动迁移 & 实时水位监控
    • DS Router内存池化管理，kafka producer group共享容量
    • 流量可在kafka producer group内迁移、也可在DS Router实例间转移
    • 依据DS Router水位实时监控，动态调整流量转移策略
    • DS Router支持多种写分区策略，且对下游kafka分区容错

核心组件与流程优化

• DS Agent：
  • 文件状态迁移流程图
  • CPU优化：作业（文件）分类，作业线程配置化
  • 内存优化：内存预分配、空闲回收再利用
  • 磁盘IO保护: 采集限流
• DS HDFS Sink：
  • 基于Flink作业，保证Exactly once
  • 利用日志数据的时间/空间连续性特征，增强batch sink效果
  • Sink任务故障转移：
    • YARN故障
    • 目的端HDFS故障
    • 根据任务级别进行不同的资源调配
• 链路监控与报警：
  • 关键节点输入输出监控埋点，NTSDB(网易时序数据库)+Redis组合存储
  • 支持多维度实时/历史监控查询
  • 丰富的用户自定义报警

应用效果与未来规划

• 应用效果：
  • Agent数量：2w+
  • 任务数量：4.8k+
  • 日均处理日志条数：5000亿+
  • 入仓数据量：600TB+
  • 人效提升：200%
• 未来规划：
  • 弹性伸缩：DS Router实例自动扩缩容，Flink Sink任务自动调整并行度
  • 智能诊断：异常根因快速定位
  • 压缩提升：
    • 日志校对服务
    • 入仓时更有效的压缩策略
    • 提升专线流量压缩比