实时大数据平台技术架构演进及实践-韩飞

京东零售集团数据计算平台部实时大数据平台技术架构演进及实践

01 平台定位及规模

• 业务定位：集团统一的实时数据平台，覆盖采集、存储、计算，服务订单交易、商智黄金眼、实时风控、京东白条、实时大屏等核心业务。
• 平台规模现状：
  • 日处理消息条数峰值：12万亿+
  • 日吞吐量峰值：27PB+
  • 采集、分发作业数：2.1万+
  • Flink作业数：2.2万+
  • 日吞吐量峰值：1万+
  • CPU核数：115万核+
  • 机房数量：1.3万台+
  • 物理机总数：5台

02 架构演进及实践

• 演进方向：云原生、智能化。
• 架构组件：
  • 采集：Fregata（采集&分发）、FlinkCDC
  • 存储：JDQ、Pulsar、Hudi、Paimon
  • 计算：JRC Flink实时平台
• 容器化现状：基于JDOS（京东Kubernetes平台）实现全链路容器化，Fregata 100%，JDQ 15%，JRC 100%。
• 跨机房能力：
  • 实现端到端数据双流（活）能力，MTTR -> 0。
  • 一键自动化切换，状态本身跨机房，计算一键切换。
• 存储性能：
  • CFS：路径一一映射，数据持久化、性能，小IO、主从同步，但Linux内核对FUSE WriteBack Cache支持不完善导致限速。
  • 兼容物理机集群部署，无感知迁移，物理机独占Par200Rep2Ack1 Nocallback，Par200Rep2Ack2 Callback。
  • 存算分离性能接近物理机集群，服务器成本节省25.3%。
• 实时计算弹性：
  • Flink Cluster弹性：基于traffic-based、time-based调度。
  • 弹性推广实践：L3作业资源降低51.5%（323，4988核），资源增加22.5%（51，302核）。
• 智能调度：
  • 机房 -> Zone默认系统分配，取空闲资源Top10，随机选取，用户自主选择结合数据路由。
  • 宿主机资源整体均衡调度，策略：CPU+MEM都低 > CPU低 > MEM低，单Pod尽量均衡。
  • 打分模型：减分，评分指标包括作业未配置告警、资源利用率低、作业运行异常、运行环境异常、作业配置不合理等。

03 未来规划

• 商业化及多云适配。
• 全链路100%容器化及弹性。
• 持续技术降本。
• 端到端秒级时延的实时链路。