存算分离之存储池化报告

[编号ODCC-2024-01003] 存算分离之存储池化报告 版权声明 ODCC（开放数据中心委员会）发布的各项成果，受《著作权法》保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会ODCC”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。 编写组 项目经理： 董少杰中移动信息技术有限公司 工作组长： 王峰中国电信股份有限公司研究院 贡献专家：肖爱元中移动信息技术有限公司刘师锐中移动信息技术有限公司刘玲中移动信息技术有限公司王小锋中移动信息技术有限公司冯轶中移动信息技术有限公司曹原铭中国移动通信集团设计院有限公司雷鸣中国移动通信集团设计院有限公司郭亮中国信息通信研究院谢丽娜中国信息通信研究院徐育林华为技术有限公司吴勇华为技术有限公司杨粲华为技术有限公司王洪亮华为技术有限公司杨泽生华为技术有限公司张伟龙浪潮电子信息产业股份有限公司路超凡浪潮电子信息产业股份有限公司方兴烽火通信科技股份有限公司蔡财义烽火通信科技股份有限公司郭娜曙光信息产业股份有限公司 目录 版权声明.................................................2编写组...................................................3 二、术语、定义和缩略语...................................9 （一）术语和定义......................................91.无盘化架构（DisklessArchitecture）..............92.无盘化服务器（DisklessServer）..................93.智能盘（框）（SmartDisk/Enclosure）.............94.标称容量(Nominalcapacity)......................95.可得容量(EffectiveCapacity)...................106.重删(datadeduplication)........................107.压缩(Compression)...............................108.直通（Passthrough）............................109.Namespace.......................................10（二）缩略语.........................................10 三、技术发展趋势........................................11 四、存算分离架构定义....................................13 （一）规范要求.......................................16（二）性能关键技术...................................171.支持NVMe-oF协议................................17 2.支持Active-Active,全局负载均衡..................183.支持ROW写技术..................................184.支持端到端IO优先级控制技术.....................195.多流分区技术....................................206.大块顺序写技术..................................207.DPU卸载技术....................................218.智能加速技术....................................21（三）资源利用率关键技术.............................231.RAID2.0技术...................................232.数据缩减技术....................................243.大比例EC技术...................................244.硬件高密技术....................................255.智能精简技术....................................25（四）安全&可靠性&可用性要求.........................251.服务质量控制....................................252.秒级主备切换....................................263.硬件设备即插即用................................264.缓存双副本......................................265.掉电保护技术....................................276.端到端DIF技术..................................277.数据销毁技术....................................288.安全预警........................................29 9.盘故障快速隔离..................................2910.升级过程主机透明...............................29 一、存算分离技术产生的背景 数字化、信息化的不断发展是推动IT基础设施演化和进步的重要动力，随着全球范围内企业数字化转型的快速发展，IT基础设施也随之演进。IT基础设施主要由计算、存储、网络构成，作为计算资源载体的计算服务器通常配置内置硬盘作为本地存储资源，系统扩容时通常以计算服务器为单位扩展计算资源，这种架构称为存算一体，是当前IT基础设施采用的主要架构。随着IT基础设施规模的不断扩大，当前存算一体系统的局限性逐渐显现，面临如下问题和挑战： 1、服务器模型多，通用性差：随着IT基础设施规模的不断扩大和应用系统复杂性的日益增加，为了尽可能匹配不同应用系统的多样性需求，计算服务器的模型越来越多，有些服务器模型的出现仅是因为硬盘配置不同。过多的服务器模型导致资源调配和供给不够灵活，同时也增加了管理维护的复杂性。 2、资源利用率低，扩容成本高：应用系统需求的多样性及频繁变化导致计算服务器的配置通常与需求无法完全匹配，在存算一体架构中，IT基础设施会取计算性能需求和本地存储空间需求中较大的一个为基准为应用系统提供计算服务器，导致计算或存储资源的浪费。同时，存算一体架构也使得IT基础设施扩容时需要同时扩容计算性能和本地硬盘（计算服务器），扩容成本高。 3、本地盘故障影响服务器稳定性：随着服务器规模越来越 大，服务器本地硬盘的数量也越来越多，硬盘运维管理问题凸显，硬盘故障影响业务持续性的问题不断出现，严重影响业务体验。 存算分离系统将服务器本地存储资源和计算资源拆分为独立的模块，在资源利用率提升、存储资源高效共享、多场景灵活部署、提升系统可靠性等方面具有显著优势，逐渐成为新的架构演进方向。 二、术语、定义和缩略语 （一）术语和定义 1.无盘化架构（DisklessArchitecture） Diskless架构将服务器本地盘拉远，构成Diskless的服务器和共享存储池，将原有架构的多级分层资源彻底解耦池化和重组整合，真正实现各类硬件的独立扩展及灵活共享。 2.无盘化服务器（DisklessServer） 不包含本地盘的服务器。服务器上的本地盘被拉远池化。 3.智能盘（框）（Smart Disk/Enclosure） 面向数据中心Diskless架构，支持计算和存储资源独立弹性扩展、具备数据完备性和数据缩减能力、支持近数据处理能力的盘片或盘框形态的数据存储部件。 4.标称容量(Nominalcapacity) 盘标签上标称的容量值。 5.可得容量(EffectiveCapacity) 盘可实际存放数据的容量空间。通过引入数据缩减能力，盘可以存放超过标称容量的数据。 6.重删(datadeduplication) 一种数据缩减技术,可以很大程度上减少对物理存储空间的需求。 7.压缩(Compression) 一种数据缩减技术，用更少的空间对原有数据进行编码，在不丢失有用信息的前提下，缩减数据量以减少存储空间需求，提高数据传输、存储和处理效率。 8.直通（Passthrough） 数据存储设备通过盘创建Namespace直接映射到主机给用户使用，用户下发的IO地址即为盘上的LBA。 9.Namespace 主机软件可访问的LBA地址的集合 （二）缩略语 三、技术发展趋势 近年来，新型网络、闪存SSD等技术快速发展，为数据中心基础设施的重构提供了技术基础。 首先，网络性能的快速发展，使得通过网络互连的设备间进行数据交换的时延从几百us减少到几十us，甚至亚us，逐渐逼近本地PCIE的访问性能。基于RoCE的NVMe协议快速发展，逐渐成为访问远端SSD存储使用的主流NOF协议之一。CXL协议、UB协议等高速互联标准，使设备间实现直接内存交换，时延降低至亚us，为未来内存拉远访问提供可能性。 其次，随着闪存介质层数的指数级提升，SSD的容量快速增长,30TB及以上的SSD已经广泛使用。IBM推出FCM盘，容量支持61.44TB；NetAPP推出DFM，75TB盘广泛用于F系列存储，150TB硬盘也已经发布；华为今年也发布了128TB大容量SSD；三星去年就已宣称正在开发256TBSSD。大容量SSD的快速推进和普及，也带来了相应的问题，如硬盘故障时影响范围扩大、性能和容量利用率不均等，通过本地盘拉远成为其可能的解决方案之一。 为了取代服务器本地盘，很多厂商推出以太网闪存簇（EthernetBunchofFlash，EBOF）高性能盘框。这类盘框不再具有复杂企业特性，而是注重采用新型的数据访问标准，比如支持NoF（NVMExpressover Fabric）等接口，以提供高性能存储实现对本地盘的替换。EMCPowerMax推出DME(DynamicMediaEnclosures),基于NVIDIABlueFiled卸载NVMe-oFTarget，支持InfiniBand；简化IO路径，任何计算节点直通访问系统中的任何盘，降低延迟并提高效率。VastData推出HA盘框(DBox)，基于BlueFiled1600卸载NVMe-oF，使用以太网或InfiniBand将SCM和超大规模闪存SSD连接到超低延迟NVMefabric。DDN使用SE2420盘框，内置ETH交换能力，内部实现NVMe协议转换，对外出NOF协议。WesternDigital推出OpenFlexData24，通过ASIC芯片，免DRAM和CPU，实现NoF到NVMe的协议转换;通过ASIC+PCIeSwitch芯片冗余，实现到每块PCIeSSD的访问路径冗余。KIOXIA推出EthernetJBOF框，通过Marvell88SN2400芯片实现NVMe到NOF的转换。 最 后 ， 业 界 涌 现 出 越 来 越 多 的 数 据 处 理 单 元 （DataProcessingUnit，DPU）和基础设