8-2 网易日志采集传输服务建设与优化

业务特点：数据量大、数据链路长、数量波动大
系统设计目标：高吞吐、低成本、高可用、高可运维
- 支持海量日志采集，低延迟
- 链路中部分节点异常无影响
- 用户自助式监控与报警服务
- 降低网络带宽、计算&存储成本

分层架构：未详细展开，但提及分层设计
数据流图：未详细展开，但提及数据流图
整体设计原则：
- 快流转：
  - 自定义传输数据包与协议
  - 数据包拆分为管控信息+数据信息
  - 支持协议升级，兼容多版本数据格式
  - 数据包支持批量压缩
- 无状态：
  - Back Pressure模型 & 基于信用的流量控制 & 可靠传输
  - ACK点位信号由目的端发送给源端
  - Checkpoint由源端记录最近的从目的端收到ACK点位
  - 下游异常时，源端回溯到上次Checkpoint位点重试
  - 保证At Least Once
- 自适应：
  - 内存池化管理 & 流量自动迁移 & 实时水位监控
  - DS Router内存池化管理，kafka producer group共享容量
  - 流量可在kafka producer group内迁移、也可在DS Router实例间转移
  - 依据DS Router水位实时监控，动态调整流量转移策略
  - DS Router支持多种写分区策略，且对下游kafka分区容错

DS Agent：
- 文件状态迁移流程图
- CPU优化：作业（文件）分类，作业线程配置化
- 内存优化：内存预分配、空闲回收再利用
- 磁盘IO保护: 采集限流
DS HDFS Sink：
- 基于Flink作业，保证Exactly once
- 利用日志数据的时间/空间连续性特征，增强batch sink效果
- Sink任务故障转移：
  - YARN故障
  - 目的端HDFS故障
  - 根据任务级别进行不同的资源调配
链路监控与报警：
- 关键节点输入输出监控埋点，NTSDB(网易时序数据库)+Redis组合存储
- 支持多维度实时/历史监控查询
- 丰富的用户自定义报警

应用效果：
- Agent数量：2w+
- 任务数量：4.8k+
- 日均处理日志条数：5000亿+
- 入仓数据量：600TB+
- 人效提升：200%
未来规划：
- 弹性伸缩：DS Router实例自动扩缩容，Flink Sink任务自动调整并行度
- 智能诊断：异常根因快速定位
- 压缩提升：
  - 日志校对服务
  - 入仓时更有效的压缩策略
  - 提升专线流量压缩比