Windows 和 Azure 中的多层内存

Windows 和 Azure 中的多层内存

Windows 中的多层内存

• 多层内存分类：
  • 通用存储器：当前系统上的可用内存，可由任何人分配，性能等同于或相当于 NUMA 节点的 DDR DRAM DIMM。
  • 专用内存：仅通过专用 API 可用，不影响系统提交，具有不同于一般的性能特点，如更低或更高的性能。
• 专用内存的发现：
  • 通过 ACPI 报告性能特征（HMAT 表、ACPI SRAT 中的纯内存 NUMA 节点）。
  • 系统上的专用内存标记为预留或特殊专用内存。
• 专用内存的软件发现：
  • 系统可以有多种专用内存类型，每个类型有独特的属性组合。
  • 新 API 用于枚举可用类型、报告性能特征（读/写延迟和带宽）。
• 专用内存的使用：
  • OS 内存管理器中的潜在用法：
    • 备用页面的辅助存储。
    • 更快的页面文件。
    • 用于压缩内存页的辅助存储。

Azure 中的多层内存

• 多层存储器的潜在场景：
  • Microsoft DeepSpeed 和 Zero Infinity 软件堆栈：
    • 管理不同类别的媒体。
    • 在 Zero-Infinity 上运行无需模型代码重构。
    • 研究与微软亚洲研究院合作。
• Zero-Infinity 的优势：
  • AI 模型击中内存 Wall：
    • GPU 内存大小无法随 AI 模型扩展，特别是自然语言训练。
    • 利用另一层更慢、更便宜的大型媒体。
  • 高级架构：
    • 拆分训练任务、调度并跨不同类别的介质（GPU 内存、CPU 内存和 NVMe）传输数据。
    • 无需模型代码重构。
  • 线性缩放 AI 模型：
    • 通过用远内存代替 DRAM 获得更好的 COG（更便宜，更慢）。
    • 示例工作负载：机器学习的纯内存应用程序，严重依赖内存缓存。
    • 使用 Windows 操作系统将 DRAM 中的冷内存页交换到远内存，对应用程序透明。
    • 工作负载配置文件延迟百分位数：
      • 32 个线程；内存已提交 ~150GB。
      • 延迟：2500（远内存） vs 2000（DRAM）。

总结

• 趋势：
  • Azure 对使用多层内存感兴趣。
  • 优化现有服务，为客户创造新服务。
  • 具有多层内存的系统即将到来。
• 需要工作：
  • 利用新硬件需要进一步研究。