Roy-Evolving-Storage-For-New-Generation

核心观点与关键数据

1. AI/ML 当前状态

   • 重点在于大规模 AI/ML 应用（训练数据需 >1PB 存储容量）。
   • 主要应用场景包括：欺诈分析、自然语言处理、实时价格优化、自动驾驶。
   • 计算能力（GPU）快速发展，但存储性能成为瓶颈（NVIDIA 提出 GPU direct 后，存储成为瓶颈）。
   • 大规模 AI 训练需高读带宽（单机架 >1TB/s）。

2. DSS：高性能可扩展对象存储

   • 开源分布式存储系统（Samsung 开发并开源），基于 NVMe-oF 的 S3 服务。
   • 特点：
     • 分离存储与计算（共享一切架构）。
     • 零拷贝键值传输。
     • 易于扩展至 EB 级别。
   • 架构：
     • 客户端库（DSS-Client）、目标子系统（DSS-ObjStore）、NVMe-oF 驱动（KV over NVMe-oF-RDMA）。
     • 支持高读吞吐量。

3. DSS 与 Minio 对比

   • Minio：共享-无架构（计算与存储需同步扩展）。
   • DSS：分离架构（计算与存储可独立扩展）。
   • DSS 通过分布式锁和 EC/复制实现高可用性。

4. 部署模型

   • AMD NUMA 架构下，DSS 可按 NUMA 节点分布式部署（如 4 个节点，每个节点含 Minio 和 DSS Target）。
   • 每个节点配置 8 驱动 SSD（PM1733 4TB），通过 100G/200G 网卡互联。

5. 性能对比

   • DSS GET 性能：
     • 10 节点集群测试，DSS 后端 1MB GET 峰值 450GB/s，优于 S3 EC（1MB/2MB）。
     • DSS Minio S3 GET 性能优于标准 S3-benchmark。
   • DSS vs 标准 NFS：
     • 16 节点测试，DSS S3 在 3-12 节点规模下性能显著优于 NFS。

6. IO 流程优化

   • 传统 S3 GET：多步骤（EC 选择、元数据读取、数据块拷贝）。
   • 新版 DSS：
     • 通过 RDD_GET 直接 RDMA 传输数据至客户端内存，绕过 Minio 服务器栈。
     • 减少数据拷贝，提升效率。

7. 可用性

   • DSS 支持分布式锁和 EC/复制，确保高可用性。

研究结论

• DSS 通过分离存储与计算架构，显著提升大规模 AI/ML 训练的读吞吐量（>1TB/s/机架）。
• 相比 Minio 和标准 NFS，DSS 在性能和扩展性上优势明显。
• 新版 DSS 通过 RDMA 直接传输数据，进一步优化 IO 效率。
• DSS 适用于大规模 AI/ML 应用，解决存储性能瓶颈问题。