Lu Qiu - Alluxio 加速云上深度学习训练

Alluxio 是一款分布式存储系统，旨在加速云中的数据访问和处理，特别适用于机器学习和大数据应用。其核心功能包括 POSIX API、数据本地化、元数据本地化以及多级存储优化。

Alluxio 与 POSIX API

Alluxio 支持 POSIX API，允许用户将远程/分布式数据作为本地目录访问，兼容 HDFS、Amazon S3、Azure、Google Cloud、Ceph、NFS 等多种存储系统，提高数据访问的便捷性和效率。

加速云训练

Alluxio 通过三个层次加速云训练：

1. 存储层数据访问加速

• 通过一键挂载 UFS 和加载数据到 Alluxio，提供数据本地化，加速训练任务。
• 案例：阿里云使用 Alluxio 提高吞吐量，Microsoft 使用 Alluxio 将训练速度提升 18%，减少 I/O 等待时间。

2. 数据预处理与训练加速

• 支持大数据 ETL 和训练集群，通过 Alluxio 缓冲读写操作，稳定底层存储，加速数据处理到训练的整个流程。
• 案例：Boss Zhipin 使用 Alluxio 解决 Ceph 压力问题，Momo 使用 Alluxio 加速图像训练和推荐系统模型加载。

3. 数据编排层

• 提供数据编排功能，支持多存储和多计算框架，优化大数据 ETL 和训练任务。
• 案例：Momo 使用 Alluxio 管理 100+ TB 数据，加速搜索和训练任务。

Alluxio 的应用场景

Alluxio 适用于分布式训练、大量小文件/图像、网络 I/O 不足、多数据源和多训练/计算框架、保持底层存储稳定、多训练任务数据共享等场景。

Alluxio POSIX API 开发

• 社区合作：腾讯、Microsoft、阿里云、南京大学、Bilibili、AntFinance 等企业参与。
• 案例：Microsoft、Bilibili、MOMO、Boss Zhipin 等已生产使用。

Alluxio 2.8 版本更新

• 提高稳定性，支持大量小文件和高并发访问。
• 支持百万级块注册，提升小文件预加载性能 10 倍，减少内存开销。
• 支持 Libfuse3，未来优化性能和可扩展性。

Alluxio AI SIG

• 定期举办 Zoom 会议，讨论 AI 和机器学习相关话题。

联系方式

• Twitter、LinkedIn、Website、Slack 等社交媒体渠道。
• 招聘信息：careers@alluxio.com。
• 加入开源社区：www.alluxio.io/slack | @alluxio。