Pinto - Programming - with - CS

背景与问题

• 数据量呈指数级增长，存储需求也随之增长。
• 传统存储架构中，数据在传输和处理过程中存在性能瓶颈。
• NVMe SSD性能优越，但主机未能充分利用其带宽，通用CPU难以完全发挥其能力，PCIe通道成为扩展瓶颈。
• 计算存储通过在存储附近处理数据，解决传输和处理瓶颈。

计算存储与SNIA CS API

• 计算存储通过将计算能力添加到存储，实现数据近端处理。
• SNIA CS API提供通用编程接口，抽象不同设备细节，支持多种配置和设备类型。
• CS API库包括Discovery、设备访问、内存管理、计算等功能，支持用户空间、内核空间和设备驱动程序。

关键API功能

• Discovery: csQueryCSxList(), csGetCSxFromPath(), csQueryCSFList() 用于发现和访问计算存储设备（CSx）及计算存储函数（CSF）。
• 访问: csOpenCSx(), csCloseCSx() 用于管理设备访问。
• 内存管理: csAllocMem(), csFreeMem() 用于分配和释放设备内存。
• 存储: csQueueStorageRequest() 用于在存储和设备内存间传输数据。
• 计算: csQueueCopyMemRequest(), csGetCSFid(), csQueueComputeRequest() 用于数据传输和设备上执行计算任务。
• 管理: csQueryDeviceProperties(), csConfig(), csDownload() 用于查询和配置设备资源。

API使用示例

• 示例步骤包括：发现CSx、访问设备、分配内存、加载数据、解密、解压缩、扫描、复制结果。
• 示例代码展示了如何通过API实现数据加载、解密、解压缩和扫描等操作。

NVMe与计算存储

• NVMe接口通过计算存储引擎（CSE）和计算程序（program）实现计算功能。
• 计算程序命名空间支持多个计算引擎和程序，本地内存子系统级范围由计算程序使用。
• 存储命名空间映射到虚拟化环境，支持多个存储命名空间。

总结

• 计算存储通过在存储附近处理数据，提升性能并解决带宽瓶颈。
• SNIA CS API提供标准化接口，支持多种设备和配置，简化开发流程。
• NVMe接口通过计算存储引擎和程序实现计算功能，支持多个命名空间和计算任务。
• 参与标准化工作（SNIA, NVMe）有助于建立生态系统，推动计算存储发展。