云原生大数据平台架构演进——弹性、融合、开放-蔡适择

顺丰科技云原生大数据平台架构演进

一、背景 & 趋势

• 顺丰简介：顺丰是中国第一大、全球第四大快递物流综合服务商，提供国内及国际端到端一站式供应链服务，覆盖国内99.4%的地级市和县区级城市，以及98个国家及地区。
• 大数据平台应用：涵盖大数据分析、AI、区块链、IoT等领域，应用于智慧供应链、智慧物流、智能调度、智能风控等场景。
• 大数据平台发展趋势：
  • 数据基础设施：湖仓一体价值被认可，存算分离、云原生成为现代基础设施标准，流批一体诉求提高。
  • 数据管理成熟度曲线：从数据孤岛到逻辑数据仓库，再到数据湖仓一体化。

二、大数据平台架构升级

• 原有架构痛点：
  1. 存算一体：无法进行存储或计算的定向伸缩，资源浪费，影响稳定性。
  2. 数据孤岛：湖仓分离，数据时效性、一致性不足，半结构化数据支持弱，跨源联邦分析难以满足。
  3. 生产容灾分离：容灾而非双活，资源浪费，数据一致性差，维护成本高。
• 弹性融合大数据平台整体架构：
  • 四部分：弹性资源层、融合计算层、数据洞察层和安全中心。
  • 目标：极致弹性、无感、安全、简单易用的云上数据服务。
• 核心能力：
  1. 资源弹性伸缩：支持顺丰云、本地IDC和公有云资源，算子智能调度，任务智能调度。
  2. 逻辑数据仓库：统一元数据服务，统一SQL语言，统一安全管理服务。
  3. 多云融合与管理：多云存储资源管理，多云计算资源管理，统一元数据管理。

三、案例分享

• 多云大数据案例：某国际物流集团通过云原生数据湖统一大数据平台，解决跨国多云大数据安全合规和统一管理问题。
• 历史技术债务清理案例：通过统一SQL服务、模拟执行“双跑”系统、灰度发布系统，实现Hive任务用户无感透明换引擎，降本增效。
• 机房迁移案例：完成超过100PB数据和20w+任务的机房迁移，对用户无感知，任务SLA时效100%达成，应用混合云跨机房弹性架构。

四、后续规划

• 大数据平台的ChatGPT+。