2023闪存技术应用全景白皮书

目录CON7EN7S 闪存介质层01 1.1 200+NAND 层数进化，奠定成本降低的基础…………………............………………………...051.2 QLC 寿命进化到 3000-5000PE………………….……............…….…………………………....071.3 3D 堆叠必争制高点…………….................…….…............……….…………………………....091.4 GB/$ 的考验…………..........................……….………….…………............……………..…..101.5 中国元素………………….……................................…….……............………………..……..11 闪存控制器02 2.1 OpenChannel 的话题……….................…….………….………………............…………….. 152.2 高性能还是低功耗？………….................…….………….………………............……………..162.3 分区存储技术的最新发展 ……................…….………….…………………............…………..172.4 磁盘和 NVMe…………......…..................…….………….………............……………………..20 闪存设备 SSD 盘03 3.1 企业级 SSD 与消费级 SSD 的区分 2.2 高性能还是低功耗？ ..........................................233.2 拥抱 PCIe 6.0…………......…..................…….………….…………............…………………..253.3 端到端 NVMe…………......…..................…….………….…………............…………………..283.4 Z-NAND 与 XL-Flash 没有更新的进展 ...…….………….……………………………..............293.5 计算型 SSD 和存算一体化 .…..................…….……...….………………............…………....30 闪存存储系统04 4.1 SCM：全闪存存储的重要组成部分 ...…….………….…………......…………………..............334.2 分布式全闪存阵列 ...…….………….………………………………………….....………..............334.3 NVMe-OF ...…….………….…………………………………………………………....…..............354.4 40+w SSD 的新时代 ...…….………….………………………….………………………..............364.5 数据存力和闪存 ...…….………….……………………………........……………………..............394.6 数据备份拥抱全闪存阵列 ...…….…………………………..……………………………..............414.7 高性能计算和 AI 存储方案 ...…….………….……………………………………......…..............434.8 即将掀起数据中心架构变革的 CXL ...…….………….………………......……………..............43 闪存介质层 1.1 200+NAND 层数进化，奠定成本降低的基础1.2 QLC 寿命进化到 3000-5000PE1.3 3D 堆叠必争制高点1.4 GB/$ 的考验1.5 中国元素 1.1 200+NAND 层数进化，奠定成本降低的基础 最早的 3D NAND 要追溯到 2007 年东芝的一次发布，而真正将 3D NAND 商业化应用的其实是三星在 2013 年的发布，从 2013 年起，3D NAND 作为最具突破性的技术开始推向市场，如今 200+ 已经成为了 3D NAND 层数堆叠的常态，没有 200+ 的水平，都不好意思说自己是 3D NAND，谈不上有什么竞争优势。 从 2D 到 3D 的变化，为闪存容量提升带来新变数，从 2D 平房到 3D 楼房的演进下，层的概念成为介质进化的新标准。也是从 3D NAND 开始，制程工艺的演进显得并不那么重要了。 从最初的 32 层开始，到 64 层大约经过了三四年的时间，2019 年前后，96 层NAND 开始出现，2020 年进入 200+ 层时代，从 128 层开始，3D NAND 告别了 32整数倍的演进，开始出现 162、176 层的差别。 高层堆叠的 NAND 技术推动了容量发展和闪存普及的步伐，让闪存在更多场景得到应用，在一定程度上，是 3D NAND 的出现拉开了闪存普及的大幕。3D NAND 颗粒层数不断推高，GB/$ 成本势必会不断降低，缩短闪存 SSD 和磁盘的差价，但从市场 的演进看，闪存 SSD 成本是在逐步降低，但是速度不如预期，究其原因，与三星、凯侠、美光等大厂对市场的把持有关，闪存颗粒并不是一个充分竞争的市场，受产能等很多因素的影响，大幅度降价未必符合厂商利益。从这个意义上，中国元素的崛起，有助于全球市场的发展。 3D NAND 的堆叠技术方案有两大派系，一种是浮栅技术（Floating gate），另外一种是电荷撷取（Charge Trap）技术。如今 Charge Trap 技术已经成为市场的主流。 浮栅技术的上下单元之间是分离的，而电荷撷取技术上下层之间是连通的，两者都是几十层水平时，差异不大，当变为几百层之后，采用电荷撷取技术的 NAND 上下电荷之间会发生串扰，造成数据不可靠。而浮栅技术虽然工艺更复杂一些，但是在数据保留方面更可靠一些，浮栅技术在层数发展上更有前景。 1.2 QLC 寿命进化到 3000-5000PE 2014 年开始，TLC NAND 开始在市场上大范围出现，所谓 TLC 是指每个单元（Cell）中存储 3 个 Bit，当时的主流还是 MLC（每个单元中存储 2 个 Bit），再往前看还有 SLC（每个单元中存储 1 个 Bit），随着每个单元存储的数据增多，容量得到提升，作为代价的是，性能和耐久性都有所损失。 从 MLC 到 TLC 转变过程中，人们最大的关注点还在于介质耐久性的降低，随着时间的推移，技术上的进步最终掩盖了介质上的差距，过去八年以来，TLC 逐渐成为主流， 从 2018 年开始，QLC 开始出现，介质耐久性又一次降低。 有 数 据 显 示： 从 SLC-MLC-TLC-QLC， 其 可 擦 写 寿 命 P/E（Program/Erasecycle， 一 次 完 整 NAND 全 盘 写 入 ） 从 10 万 次、3000~1 万 次、300~1000 次、100~150 次一路走低，编程复杂性的提升，读写速度，特别写速度不断降低。 特别是 QLC，耐久度已经降低到 100~150 次，对于消费类用户来说，高清视频等存储的需求，主要集中在大容量、低成本，写满一次磁盘需要较长时间，频繁擦写的情况并不多见，因此 P/E 100 是可以满足需求的。对于 QLC 大容量 SSD 盘来说，应该没有足够的数据，将全盘写满 100 次，且写满 100 次也需要很长的时间。 在消费级市场，很少听说 SSD 被写穿现象。 但在企业级市场就不一样了，不仅数据频繁采写，企业级 SSD 对于数据的可靠性、安全性要求更高，不能够容忍任何的数据丢失。如今，企业级市场，出现了 SSD 被写穿的现象。这个现象背后，应该有类似 QLC 耐久度不高的问题，也有软件、调度、监管和控制的问题。针对 NAND 颗粒耐久度，在 SSD 盘固件设计上，就有磨损均衡设计，尽可能将数据均匀散步在各个颗粒，避免局部热点的出现。此外，外部存储系统在设计上，会使用多个 SSD 盘，用户的数据也会被条带化，均匀分布到各个 SSD 盘，一来通过并行存取提高性能，二来提高可靠性，防止局部热点所导致的 SSD 被写穿。 总而言之，无论 SSD 盘，还是存储系统，有很多的技术手段来预防局部热点，防止 SSD 被写穿。人尽其才，物尽其用。 当企业级用户出现 SSD 被写穿的时，还是应该认真分析问题的缘由，是否为了追求价格忽略了应用场景和耐久度的问题。总的来看，QLC 适合一次写入、多次读取的应用场景，并不适合频繁的写入，这也是 QLC 没有成为主流存储的原因。 另外需要引起关注的：最新技术表明，无论是 TLC 还是 QLC，在可擦写寿命P/E 上 都 取 得 了 明 显 的 技 术 进 步， 分 别 从 300~1000 次、100~150 次， 提 高 到 了3000~7000 次、1000~3000 次，虽然不了解具体做了哪些技术改进，但是可以肯定的是，PE 的提升就为企业级应用提供了良好的保障，与此同时，提高 GB/$，降低闪存介质的使用门槛。如今，在很多的用户业务场景，如容灾备份等也开始接受全闪存配置，这应该是技术进步带来的成果。 1.3 3D 堆叠必争制高点 全球 3D NAND 市场竞争是一场技术赛跑，其中，堆叠层数被视为一个制高点。进入 2022 年，堆叠层数已经来到 200+ 的门槛，已经宣布的有 162、176 层产品量产，长江存储 128 层实现量产，500+、1000+ 的方案也在规划中。目前市场上有两种堆叠方式：字符串堆叠（ String stack）和 单一堆叠（Single stack），各有利弊。 单一堆叠（Single stack）相当于原生垂直堆叠 1xx+，仅一道工序，有成本优势。但是制程复杂度随层数攀升不断加大，蚀刻和沉积最终可能导致裸片良品率下降，包括交叠层厚薄不均、蚀刻不彻底（打孔未到达底部）、弯曲、扭曲及线宽变化，其间电子垂直通过的迁移率也在随层数增加而更加不可控。 而字符串堆叠（ String stack，目前主要指双层堆叠），制程复杂度相对较低，只要拥有 48 层或者 64 层技术，那么实现 96（2*48）层、128（2*64）层不是梦，还降低了打孔的蚀刻深度，良品率不会受到影响，但需要两道工序，会增加 30％ + 的成本。 值 得 一 提 的 是 长 江 存 储 的 Xtacking 技 术， 这 是 一 种 晶 圆 键 合（Waferbonding）而非堆栈方式。一片晶圆上加工负责数据 I/O 及记忆单元操作的外围电路，另一片晶圆上加工存储单元，最终通过数百万根金属 VIA( 垂直互联通道 ) 将二者键合接通电路。 目前，字符串堆叠方式在市场上较为普遍。 1.4 GB/$ 的考验 GB/$ 将是 NAND 跨越磁盘成为主流存储介质最直接的考验，为此，技术上一是堆叠晶圆的层数；二是增加单位单元存储比特位数量。层数增加，意味着制程复杂性和处理时间依次增加，裸片良率可能大大下降继而导致产量下降。 国际分析机构富国银行的分析师 Joe Quatrochi 提到了晶圆上蚀刻通道的纵横比问题，预计 96 层设备的纵横比约为 70：1（对应 64 层是 60：1），纵横比会随着层数增加而提升。3D NAND 的垂直堆叠属性逐渐依赖蚀刻工艺的精度平衡更高的纵横比，此外，通过沉积实现晶圆上薄膜的一致性也更加困难。 128 层单层蚀刻时间约是 96 层蚀刻时间的 2 倍。想象一下自己的机器用之前两倍的时间制造晶圆，通过增加层数让每个裸片容量增加约 30％，实际发售容量是否真的增加了？为了增加产能