Windows 和 Azure 中的多层内存

多层内存分类：
- 通用存储器：当前系统上的可用内存，可由任何人分配，性能等同于或相当于 NUMA 节点的 DDR DRAM DIMM。
- 专用内存：仅通过专用 API 可用，不影响系统提交，具有不同于一般的性能特点，如更低或更高的性能。
专用内存的发现：
- 通过 ACPI 报告性能特征（HMAT 表、ACPI SRAT 中的纯内存 NUMA 节点）。
- 系统上的专用内存标记为预留或特殊专用内存。
专用内存的软件发现：
- 系统可以有多种专用内存类型，每个类型有独特的属性组合。
- 新 API 用于枚举可用类型、报告性能特征（读/写延迟和带宽）。
专用内存的使用：
- OS 内存管理器中的潜在用法：
  - 备用页面的辅助存储。
  - 更快的页面文件。
  - 用于压缩内存页的辅助存储。

多层存储器的潜在场景：
- Microsoft DeepSpeed 和 Zero Infinity 软件堆栈：
  - 管理不同类别的媒体。
  - 在 Zero-Infinity 上运行无需模型代码重构。
  - 研究与微软亚洲研究院合作。
Zero-Infinity 的优势：
- AI 模型击中内存 Wall：
  - GPU 内存大小无法随 AI 模型扩展，特别是自然语言训练。
  - 利用另一层更慢、更便宜的大型媒体。
- 高级架构：
  - 拆分训练任务、调度并跨不同类别的介质（GPU 内存、CPU 内存和 NVMe）传输数据。
  - 无需模型代码重构。
- 线性缩放 AI 模型：
  - 通过用远内存代替 DRAM 获得更好的 COG（更便宜，更慢）。
  - 示例工作负载：机器学习的纯内存应用程序，严重依赖内存缓存。
  - 使用 Windows 操作系统将 DRAM 中的冷内存页交换到远内存，对应用程序透明。
  - 工作负载配置文件延迟百分位数：
    - 32 个线程；内存已提交 ~150GB。
    - 延迟：2500（远内存） vs 2000（DRAM）。