启用远程持久内存 - Burstein - Making - RM - Persistent

摘要

远程持久内存工作负载

• 典型工作负载（文件系统和数据库）需要在提交数据后将标志/指针提交到媒体以写入数据，并在内存和更新标志/指针。
• 远程持久内存工作负载包括持久性内存文件/块镜像、分散收集、更新到远程持久内存的异步/同步数据、耗尽验证、持久性完整性检查和静态数据加密。

RDMA 内存放置扩展

• RDMA 基于行业中部署了 15 年的简单原语构建的传输，其原则包括可靠性队列对 (QP)、RDMA 注册 (REG_MR)、SEND/RCV、RDMAREAD/RDMAWRITE、交货一次按顺序。
• RDMA WRITE 可靠性范围：保证数据已成功收到并接受，但不保证数据已达到远程主机内存或对其他消费者可见/耐用。
• RDMA FLUSH 提供内存放置保证，新的运输操作为 RDMA FLUSH，RDMA 内存操作保持不变。
• RDMA FLUSH 要求性能：系统级含义包括缓存效率、持久内存带宽/耐久性、非发布/延迟性、管道化、分成本、全局可见性和全局可见性与持久性。
• 内存放置类型：选择性水平，RDMA FLUSH 提供内存放置保证的新传输操作，未发布（执行可能会延迟）、显式响应与内存键范围关联。
• FLUSH 类型持久性：确保在内存中放置前面的数据访问在整个电源周期内保留数据，并仅在响应者中成功完成后发送响应。
• FLUSH 类型的全局可见性：确保在内存域中放置前面的数据访问对于响应者平台的阅读可见。
• 内存区域范围：在 QP 内的 RETH 范围 {RKEY, VA, Length} 内的数据访问前的 FLUSH，FLUSH 在 QP 内的 RETH. RKEY 内的数据访问之前。

实现高效的两阶段提交

• RDMA 排序规则需要应用程序等待 FLUSH 更新前的响应标志/指针。
• 使用隔离 QP（不利于带宽）或等待完成（因此软件中断），为提交事务添加了往返延迟。
• 建议：原子写入，新的传输操作对 8B 的原子更新未发布，排序为未发布的操作完成（例如 FLUSH），两阶段提交排序将在响应者中完成。

RDMA 内存管理

• 内存区域保护域 (PD)：远程、本地、读取、写入、FLUSH，辅助功能权限，应用程序之间的保护，内存布局（分散聚集），分散-聚集在内存中，完整性检查 (t10dif) 验证读/写时数据的完整性。
• 内存管理的控制平面：映射、取消 HA 的映射，应用程序、SWPeerA、PeerANIC、RNic、PeerBNIC、PeerB、PM、MapRDMA、OpenRDMAMmap、寄存器记忆、商店、优化、Flush、RDMAWrite、分配/解除分配、FlushWrite、取消映射、RDMAUnmap、取消注册记忆保护、保护域、文件系统或数据库责任期登记。
• 基于内存区域的完整性检查：类型、块大小、App/Ref 标记、需要查询签名、结果为签名指定的内存区域。
• 基于内存区域的加密：使用远程 PMEM 静止数据加密变得具有挑战性，数据在到达媒体 AES-XTS 之前必须加密，建议将内存密钥与加密密钥相关联以加密解密数据。

总结

• PCIe 和 InfiniBand 正在为远程访问到持久性内存奠定基础。
• 内存可靠性、安全性、数据完整性在 IBTA 中进行工作以生成附件。
• 系统级别构建完整的故事，这些挑战应在内存的其他标准接口中得到解决。