01-字节跳动云原生大数据发展之路-余炜强

字节跳动云原生大数据发展之路

背景

• 挑战：大规模高性能稳定定制优化、实时化、智能化、存算分离、云原生化、安全合规、产品一体化
• 问题：已有基础运营能力弱、运维负担大、业务接入复杂、成本压力大
• 技术趋势：EB级存储、TBps级实时流量、千万core资源调度

架构思路

• 规模化：大规模实时计算、大规模存储能力、极致实时优化
• 垂直化：实时处理、实时分析、实时生效
• 中心化：统一云原生存储体系、统一容器调度体系、一站式大数据平台
• 整合化：流批一体化、离在线一体化、软硬件一体化、多模数据体系
• 智能化：大数据+人工智能、智能优化、智能运维
• 成本优化：Serverless化、解决方案

实践案例

• 存储
  • 支持多种存储介质和存储底座
  • 多级存储自动优化存储成本
  • 大数据存储引擎（如CloudFS）：单集群读写性能优异、支持EB级别数据存储
• 计算
  • 一站式大数据平台：开发、调试、运维、调度一体化
  • 大数据计算引擎：支持湖仓一体、流批一体化、大数据AI一体化
• 消息引擎
  • 支持多云容灾调度、秒级容灾恢复
  • 高性能大规模读写支持
  • 存算分离架构：相比Kafka，ByteMQ具有更快的扩容速度和更高的自动化水平
• 搜索
  • 支持PB级别数据存储，单集群百万分片
  • OpenSearch产品实践：读写性能优化、集群CPU负载下降、写吞吐提升

未来规划

• 流数仓
• 软硬件结合（如RDMA、NVM）
• Serverless演进
• 更好的弹性与更低的成本

技术交流

请扫描二维码参与交流。