内存系统结构 PIM 和 CXL - 内存的创新

核心观点与关键数据

PIM（处理内存）

• 原理：系统级性能受限于带宽扩展，受 PCB 线数、CPU 球数和热约束限制。PIM 通过在内存中集成可编程计算单元，实现并行处理并最小化数据移动。
• Aquabolt - XL 系统：基于 HBM2 的 PIM 首次演示系统，用于前沿 AI 和 HPC，将 PCU 与 HBM 内内存核心集成。
• 性能与能效：
  • 性能提升：通过多银行并行操作，最高可达 4 倍 DRAM 带宽。
  • 能效提升：利用存内处理单元减少数据移动能耗。
• 评估结果：
  • Xilinx Alveo U280 FPGA 平台测试：GEMV、ADD、LSTM 等任务性能提升 2.54-2.85 倍，能耗降低 42.6%。

AXDIMM（近内存计算）

• 原理：将计算置于内存模块上的缓冲区，缓解冯·诺伊曼内存总线瓶颈。
• 性能与能效：
  • 性能提升：2-Rank AXDIMM 相比 CPU + RDIMM 提升 1.8 倍。
  • 能效提升：2-Rank AXDIMM 能耗降低 42.6%。
• 评估结果：
  • 基于 Xilinx ZynqUltrascale + FPGA 平台，RecNMP 应用程序 QPS 提升 1.8-6.9 倍。

CXL 内存

• 标准：CXL 1.0 规范，支持内存缓冲区、缓存设备、带内存的加速器等类型。
• 三星 CXL Type 3 内存：
  • 形状因子：E1.S、E3.S、E3.L（考虑中）。
  • 媒体：DDR5。
  • 容量：128 GB 至待定。
• 功能：内存池化，支持多主机共享和独占使用。
• 开发：媒体控制器所有权、延迟、成本、电源等优化。

SMDK（可扩展内存开发套件）

• 架构：包含 CXL 内存分配器、兼容 API、智能内存分层等。
• 功能：
  • 兼容 API：无需修改应用程序即可支持内存扩展器。
  • 智能分层引擎：通过优先级/容量/带宽优化内存使用。
• 演示：
  • IMDB（Redis/Memcached）功能测试，展示 CXL 内存分配和优化。
• 开源：预计明年上半年开源。

研究结论

• PIM 和 AXDIMM：通过内存内或近内存计算，显著提升性能和能效。
• CXL 内存：作为关键接口，支持新媒体和 SDM 系统架构及异构计算。
• SMDK：促进 CXL 内存部署，无需修改现有应用程序，支持智能内存管理和优化。
• 总体趋势：数据移动管理是提升性能和能效的关键，软件在内存分层和优化中作用重大。