登录
注册
回到首页
AI
搜索
发现报告
发现数据
发现专题
研选报告
定制报告
VIP
权益
发现大使
发现一下
行业研究
公司研究
宏观策略
财报
招股书
会议纪要
seedance2.0
低空经济
DeepSeek
AIGC
大模型
当前位置:首页
/
行业研究
/
报告详情
实时大数据平台技术架构演进及实践-韩飞
信息技术
2023-06-06
ArchSummit上海2023|全球架构师峰会
杜***
AI智能总结
查看更多
京东零售集团数据计算平台部实时大数据平台技术架构演进及实践
01 平台定位及规模
业务定位
:集团统一的实时数据平台,覆盖采集、存储、计算,服务订单交易、商智黄金眼、实时风控、京东白条、实时大屏等核心业务。
平台规模现状
:
日处理消息条数峰值:12万亿+
日吞吐量峰值:27PB+
采集、分发作业数:2.1万+
Flink作业数:2.2万+
日吞吐量峰值:1万+
CPU核数:115万核+
机房数量:1.3万台+
物理机总数:5台
02 架构演进及实践
演进方向
:云原生、智能化。
架构组件
:
采集:Fregata(采集&分发)、FlinkCDC
存储:JDQ、Pulsar、Hudi、Paimon
计算:JRC Flink实时平台
容器化现状
:基于JDOS(京东Kubernetes平台)实现全链路容器化,Fregata 100%,JDQ 15%,JRC 100%。
跨机房能力
:
实现端到端数据双流(活)能力,MTTR -> 0。
一键自动化切换,状态本身跨机房,计算一键切换。
存储性能
:
CFS:路径一一映射,数据持久化、性能,小IO、主从同步,但Linux内核对FUSE WriteBack Cache支持不完善导致限速。
兼容物理机集群部署,无感知迁移,物理机独占Par200Rep2Ack1 Nocallback,Par200Rep2Ack2 Callback。
存算分离性能接近物理机集群,服务器成本节省25.3%。
实时计算弹性
:
Flink Cluster弹性:基于traffic-based、time-based调度。
弹性推广实践:L3作业资源降低51.5%(323,4988核),资源增加22.5%(51,302核)。
智能调度
:
机房 -> Zone默认系统分配,取空闲资源Top10,随机选取,用户自主选择结合数据路由。
宿主机资源整体均衡调度,策略:CPU+MEM都低 > CPU低 > MEM低,单Pod尽量均衡。
打分模型:减分,评分指标包括作业未配置告警、资源利用率低、作业运行异常、运行环境异常、作业配置不合理等。
03 未来规划
商业化及多云适配
。
全链路100%容器化及弹性
。
持续技术降本
。
端到端秒级时延的实时链路
。
你可能感兴趣
光大银行准实时数据平台架构演进
中国数据智能管理峰会
2023-04-15
天穹OLAP:实时湖仓融合平台架构实践
信息技术
DataFunSummit2023:OLAP引擎架构峰会
2023-08-09
云原生大数据平台架构演进——弹性、融合、开放-蔡适择
信息技术
ArchSummit上海2023|全球架构师峰会
2023-06-06
5-2 基于大数据及机器人对话技术在综合理财平台下的应用实践 - 卢易 陆金所大数据平台负责人
信息技术
DataFunSummit2022:数据科学在线峰会
2022-06-13
架构师特刊:互联网企业实时计算架构演进
InfoQ 中文站
2020-08-20