陈昊 蚂蚁集团 - 通用分布式计算引擎 Ray

Ray 通用分布式计算引擎研报总结

核心观点

• 问题解决：Ray 旨在解决分布式系统开发中的通用难题，如组件通信、服务发现、任务调度、监控、故障恢复、数据存储和传输、部署与运维等，通过提供简单通用的分布式编程API，降低分布式系统开发复杂度。
• API设计：提供Task（无状态计算单元）、Actor（有状态计算单元）和Object Store（分布式对象存储）等API，支持Python/Java/C++多语言，实现跨语言调用和序列化。
• 核心功能：屏蔽分布式系统底层细节，包括通信、调度、数据存储、故障恢复、环境依赖、运维部署等，实现通用分布式编程。
• 蚂蚁应用：自2018年使用Ray，已连续四年平稳支持双十一，日常生产环境规模超30万CPU Core，支持Kubernetes、私有集群和主流云厂商部署。

关键数据

• 蚂蚁生产环境规模：超过30万CPU Core。
• Ray开源贡献：Java/C++/跨语言API、Actor Fault Tolerance、多租户、Actor Task反压、New Dashboard、集群/作业弹性、分布式Common Libraries等。
• 架构优化：GCS Service、Actor Direct Call、Core Worker、GCS-based Actor Scheduling。
• 性能指标：单集群支持3k节点+80k Actor，Actor创建：10k/min，Actor故障恢复：2s，Actor task throughput：80k/s。

应用案例

• 在线机器学习：涵盖整个在线学习链路，通过Collocation调度+Shared Memory提高数据传输效率，一体化Checkpoint联动Failover，全链路数据流反压&动态扩缩容。
• 统一分布计算底盘：简化新分布式系统开发，统一Runtime优化不同计算模式融合，功能性能优化可复用。

开源生态

• 开源社区：2017年由UC Berkeley开源，蚂蚁长期深度参与，官网：https://github.com/ray-project/ray。
• 组件：Ray Core（通用分布式计算框架）、RayClusters（集群部署和管理）、RayML（分布式机器学习Toolkit）。
• Ray 2.0计划：RayML（Serve Pipelines GA、Serve JSON API、Train GA、RLlibAPI Improvements）、Ray Core（State Observability、Cluster Fault Tolerance、Scalable Data Shuffle）、RayClusters（KubeRayGA、Job Submission API GA）。