在 OCP M.2 加速器上加速 DLRM

核心观点与关键数据

• 硬件/软件协同设计是 OCP 基础架构降低 TCO 的关键
  OCP 基础架构通过硬件/软件协同设计可节省大量 TCO（总拥有成本）。

• 可编程 OCP M.2 加速器模块是实现 TCO 节省的理想选择
  可编程 OCP M.2 加速器模块是实现 TCO 节省的理想方案，适用于推荐模型等内存绑定工作负载。

• 推荐模型的计算与内存挑战
  推荐模型（如 DLRM）是数据中心常见工作负载，占 AI 周期的 79%，但现有数据中心基础架构内存效率低下。

• OCP M.2 加速器模块的技术规格

  • 兼容 Glacier Point V2 载卡，适用于 Yosemite V2 和 V2.5 机箱
  • 包含 DDR4 内存（32 GB 或 16 GB）和可编程硅（FPGA）
  • 标准宽度 14.85 W TDP

• 适应性加速与软硬件设计空间探索
  可通过软件重新编程，加速推荐模型和其他内存绑定工作负载，如 k-NN，实现软硬件设计空间快速探索。

• 基准测试与性能提升

  • 每个优胜美地 x 2 基准测试，Glacier Point V2 载卡最多支持 9 个密封加速器模块
  • 每个 GPv2 增加 162 GB/s 内存带宽，每个 Yosemite 增加 576 GB 内存容量
  • 随机嵌入表查找效率 > 95%，带宽线性扩展
  • 9 个 SEAL 加速器实现 155 GB/s 的随机 PyTorch EmbeddingBag 操作

• DLRM 基准测试结果

  • 10 ms P99 延迟限制吞吐量提升 4.5 倍
  • 相比单个精度 CPU 基线，吞吐量提升 6.5 倍
  • 相比 float16 CPU 基线，吞吐量提升 2.5 倍
  • 计算密度提升，功率预算内实现性能优化

• 经济效益

  • 使用 LoadGen 流量生成器评估
  • OCP 机架计算密度提升 2.5 倍
  • 能源使用减少 59%
  • 资本支出节省 $250M，运营费用每年节省 $100M/100k 服务器

研究结论

• OCP M.2 加速器模块显著降低 TCO
  通过可编程硅和 DDR4 内存，OCP M.2 加速器模块在推荐模型等场景中实现性能与能效双重提升，降低资本支出和运营成本。

• 可编程硅的长期价值
  可编程硅在数据中心具有长期价值，5 年内仍将发挥重要作用。

• 数据中心优化方案
  通过 OCP M.2 加速器模块，数据中心可优化计算密度和能源效率，实现 TCO 显著降低。