Kim - Mesnier - 计算存储在虚拟化环境中

计算存储研究平台与虚拟化环境中的影响

英特尔计算存储研究平台

• 平台架构：包括支持库（如 oneAPI）、多计算引擎调度层、应用程序服务器（如擦除编码）、设备层（NAND 和 Optane SSD）、CPU 及加速器。
• 功能示例：通过命令行操作文件系统，执行块存储操作（如搜索、哈希计算），支持传统块存储和启用硅GPU/FPGA的智能网卡（IPUs）。
• 性能测试：与传统存储相比，计算存储在 100 GbE 网络环境下性能提升 2% 到 18x，更可扩展。

VMware 中的计算存储

• 计算存储设备（CSD）：物理 NVMe 计算存储设备可虚拟化为虚拟 NVMe 计算设备（vCSD），支持近存储日志分析、Greenplum MPP DB、嵌入式 ML 查询等。
• vCSD 优势：支持固定计算卸载（压缩和加密）、硬件加速器共享、可编程计算服务卸载（键值引擎、数据库存储引擎、对象存储）。
• 虚拟计算存储体系结构：在 VMware Cloud 中，计算节点（大数据分析、AI/ML）与 SAN 存储节点（vSAN）、本地 SSD + CSD、对象存储（S3 兼容）协同工作，减少数据移动并卸载存储密集型功能。

MinIO 对象存储与计算存储

• MinIO 集成：通过 APIs 将计算功能（校验和、压缩、搜索、SQL 谓词和加密）集成到 MinIO 对象存储中，CSD 可发起或目标虚拟化，MinIO 可卸载计算函数到 CSD。
• 端到端解决方案：合作开发完整解决方案，包括流高速公路哈希优化、Linux 可执行文件读取、NVMe/TCP 扩展、EXEC 选项、MinIO 插件支持硬件加速等。

合作与反馈

• 合作项目：与 MinIO 合作开发端到端解决方案，涉及流高速公路哈希优化、Linux NVMe/TCP 扩展、MinIO 插件支持硬件加速等。
• 反馈收集：会议结束后收集反馈意见。