核心观点与关键数据
Yahoo! Japan 作为日本最大的互联网公司之一，在其私有云环境中采用 OpenStack 和 KVM/QEMU 虚拟机管理程序，通过 OCP Lightning (NVMe JBOF) 实现软件定义存储 (SDS) 的部署。
存储环境与挑战
Yahoo! Japan 拥有大规模数据中心资源，包括 6 个数据中心、75,000+ 服务器、130,000+ 虚拟机及 60PB+ 存储。其 OpenStack 环境由不到 20 名工程师操作，通过自动配置、ChatOps 和集中式监控降低运营成本。然而，SDS 作为分布式系统，其网络配置（如高带宽、延迟测量）成为关键挑战。
技术选型：OCP Lightning 与 Quobyte
- OCP Lightning (NVMe JBOF)：采用灵活的 NVMe JBOF 架构，单台 2U 机箱最多支持 30 个 NVMe SSD，通过 Mini SAS HD 电缆直接连接主机，支持热插拔，兼具高性能与易用性。
- Quobyte 对象存储：作为统一存储系统，解决 SDS 操作复杂性，通过分布式网络优化性能。
系统配置
- 计算节点：CPU 为 Xeon E5-2683v4 x2，内存 512GB，磁盘为 240GB SATA SSD。
- 存储节点：CPU 为 Xeon E5-2683v4 x2，内存 512GB，磁盘为 240GB SATA SSD，并配置 3.8TB NVMe JBOF (15 个 NVMe SSD)。
- 网络：采用 Clos 网络，25Gbps 以太网 x2 (50Gbps)，PCIe Gen3 x16 (双向 31GBps)，NVMe PCIe 交换机。
性能测试
- 基准工具：fio。
- 测试模式：顺序读取/写入、随机读取/写入 (4k/8k/16k/32k/64k/128k)。
- 规模：18 个存储节点，70 个计算节点。
- 结果：峰值读取 IOPS 达 1000k+，读取带宽 40GB/s+；峰值写入 IOPS 达 300k+，写入带宽 12GB/s+。
研究结论
Yahoo! Japan 通过 OCP Lightning 配置 SDS 后端，验证了其在高性能、灵活性和可扩展性方面的优势，最适合大规模私有云环境部署。Quobyte 对象存储进一步简化了 SDS 管理复杂性，提升了系统整体性能。
