光大银行准实时数据平台架构演进

光大银行准实时数据平台架构演进演讲人：张旭 光大银行准实时数据平台技术负责人，专注于分布式系统内核研发。在消息中间件& OLAP领域有较丰富经验。开源爱好者，Apache RocketMQ committer，Prometheus contributorhttps://github.com/maixiaohai个人介绍 目录•准实时数据平台•架构演进实践•实时数据湖架构•数据服务总线实践•未来规划 准实时数据平台 准实时数据平台•特点•问题Kafka 存储分层（贴源、标准、发布）内置了很多业务的数据处理逻辑（Spark、Flink、MR）实时数据平台& 计算资源平台维护了过多的业务处理逻辑（需要了解不同业务的逻辑，无法在平台建设上投入更多的精力）平台组件过多，涵盖了数据的导入、消息存储、计算、调度等方面，导致平台定位不够清晰 架构演进实践 架构演进实践 架构演进实践 实时数据湖 实时数据湖 数据服务总线•Schema 解耦•SDK 封装•可观测性& 可视化 数据服务总线-schema 解耦 数据服务总线-schema 解耦 数据服务总线-SR 高可用最佳实践•客户端：a.配置多个实例地址，缓存schema 关系•服务端：a.独立部署b.多实例，主从结构，一写多读c.schema 数据缓存d.跨域集群部署及容灾方案 数据服务总线-SR 跨域部署 数据服务总线-SR 优化•安全& 权限a.插件实现的简单RBAC 鉴权b.audit log•运维a.kerberos 整合b.监控打通 数据服务总线-SDK 封装提供统一的客户端入口•减少不同客户端版本带来的性能差异和稳定性问题•方便升级管理、灾备切换等•更好地规范客户端行为，增强对客户端的数据面控制 数据服务总线-SDK 消费定制化 数据服务总线-SDK 消费定制化 数据服务总线-可观测性&可视化•Kafka 服务端& 客户端监控•控制台开发：schema 和消费schema 的可视化管理 总结•更清晰的平台边界•覆盖分钟级实时贴源数据场景•数据服务总线生态建设 目录•准实时数据平台•架构演进实践•实时数据湖架构•数据服务总线实践•未来规划 未来规划•实时数据湖•数据服务总线分钟级贴源场景落地探索湖仓一体、批流一体SDK 开发：灾备切换Flink Connector 二次开发信创集群建设管理控制台运维特性开发 THANKYOU!