顺丰大数据架构稳定性保障实践_林国强

大数据架构稳定性保障实践

一、大数据架构历史变迁

• 洪荒期（MR）：以MapReduce模型解决海量数据分析问题，从传统数据库转向MR/HSQL架构，成立原始大数据团队。
• 远古期（MPP）：采用MPP架构简化湖仓问题，适用于中小规模场景，成立专注MPP的团队。
• 近古期（Storm）：引入Storm支持实时流处理，快速响应业务需求，成立实时数据团队。
• 近现代（Flink/Spark）：Flink提升流处理性能，Spark提高离线计算速度，分别成立实时流处理和算法团队。
• 现如今（实时数据湖架构）：采用Hudi实现增量处理，提升指标时效性，成立实时数据湖团队。

二、架构稳定的关键因素

• 扩展性：通过纵向/横向扩容、存算分离、弹性伸缩等技术实现资源复用和成本优化。
• 可用性&容灾：解决跨机房部署性能、带宽、数据一致性问题，实现双活和高可用。
• 自适性&自动化：通过精细化运营、用户反馈、诊断项沉淀实现自动化评估和风险预警。
• 易用性&批流一体化：提供统一SQL接口，支持实时批流融合，简化开发模式。
• 先进性&数据仓库实时化：打造云原生实时数据湖，实现指标T+1到T+0的实时化。

三、未来大数据架构畅想

• 产业趋势：传统厂商、公有云厂商、新兴科技公司分别以平台+定制化、云基础设施+生态、单品聚焦为主。
• 架构趋势：从私有化数据湖到云原生实时数据湖，实现存算分离、实时数仓、湖仓一体。
• 关键能力：
  • 极致弹性：通过存算分离复用容灾和公有云资源，优化成本。
  • 实时数据湖：基于Hudi提升数仓更新时效，实现T+0指标。
  • 统一SQL：提供跨云、跨引擎全局统一元数据管理，支持无感优化。
  • 安全托管：确保数据加密和权限控制，实现安全计算。
  • 数据生态：通过联邦学习构建隐私计算数据交易市场。
• 客户价值：实现指标T+1到T+0的实时化，提升数据结果产出速度。