5-2 京东实时数据产品应用实践

京东实时数据产品应用实践总结

01 实时产品应用概况

• 支撑业务场景：实时数仓、实时大屏、实时报表、实时监控、实时推荐、实时风控，覆盖京东零售、京东工业等业务。
• 发展历程：经历了三代实时平台建设（2017-2022），从第一代实时消息平台到第二代低代码实时开发平台，再到第三代流批一体化产品体系。
• 用户分布：软件开发工程师占比最高（34.2%），其次是算法工程师（17.1%），其他岗位占比31.7%。
• 面临问题：技术门槛高、人力资源成本高、线上线下数据割裂。

02 低代码实时平台建设

• 挑战：业务场景多样性、产品模式简单化、技术功能复杂性。
• 业务场景拆分：从场景化到标准化、模块化、低代码。
• 数据处理模型：涉及消息队列、实时计算、数据存储等组件。
• 产品特点：API模式赋能外部系统、打通BI等平台生态、降低开发门槛。
• 产品内容：包括实时大屏、融资平台等应用案例。

03 流批一体化产品体系

• 定义：技术层和业务层均实现流批一体化。
• 解决的问题：Lambda架构下两套数据链路的集群维护、开发、人力成本及一致性问题。
• 主要收益：降低成本、统一业务模型、提高资源利用率。
• 流批一体化开发平台：涉及实时数据采集、落库、计算等服务。
• 应用案例：实时通用数据层RDDM建设、流量买卖黑产舆情分析。

04 产品运营：实时数据链路三道防线

• 挑战：系统稳定运行依赖经验、上下游报警信息分散、链路广。
• 三道防线：
  • 第一道防线：应用健康度、全域可观测性、应用分级。
  • 第二道防线：混沌工程、军演压测、业务加固。
  • 第三道防线：故障根因分析、弹性扩容、应急预案。
• 运营目标：降低故障发生率、缩短故障恢复时间、缩短备战时长。

05 未来规划

• 未来发展方向：配置化功能、CEP场景应用、实时ETL产品工具建设、全链路自动化诊断及调优。