一、技术现状综述
大模型参数规模持续膨胀,AI系统正由“计算主导”演化为“存储主导”。PCIe总线带宽已逐渐落后于计算、网络、存储三者的需求增速,成为新的系统级瓶颈。本文将AI应用细分为8个阶段,系统梳理了PCIe总线带宽与AI负载需求之间的结构性错位,并提出“带宽赤字指数(BDI)”以统一度量该错位程度。研究发现,PCIe带宽的线性演进已难以匹配模型规模的指数级扩张,2024年后PCIe5.0/6.0已无法满足主流训练集群的峰值需求,PCIe7.0亦仅能提供过渡性缓解。
二、AI时代的存储挑战
AI计算范式转变导致存储需求指数级增长,具体表现在容量、带宽和访问粒度三个方面。存储墙问题在AI时代变得尤为突出,PCIe总线成为制约AI计算效能的关键瓶颈。存力问题瓶颈分析与解决策略表明,仅靠PCIe7.0无法弥合差距,必须引入CXL、UCIe、硅光互连、近存计算等多级异构互连技术。
三、AI应用不同阶段对存储系统的要求分析
本文将AI应用细分为8个阶段:数据摄取、预处理、训练、Checkpoint、微调、推理、边缘服务、终端离线。每个阶段均定义了输入输出数据大小、并发线程数、数据类型、读写比例、随机/顺序特征等元数据,为后续带宽建模提供原子级参数。通过分析各阶段流量特征,指出数据摄取、预处理、训练、Checkpoint、微调、推理等阶段均存在PCIe带宽瓶颈,并提出相应的缓解思路。
四、人工智能系统从训练到应用的八个阶段的存储需求
本文详细分析了AI系统从训练到应用的8个阶段的存储需求,包括数据摄取、预处理、训练、Checkpoint、微调、推理、边缘服务、终端离线。每个阶段均从公开语料特征、链路瓶颈成因、范式迁移路径等方面进行了深入分析,并探讨了其对后续阶段的影响。
五、人工智能应用对存储系统的压力评测方法
本文提出了带宽赤字指数(BDI)的概念,用于量化AI负载对PCIe带宽的超出程度。通过对公开数据的计算,得出2023–2024年已公开场景的BDI结果,并预测2025–2027年模型规模和带宽需求,以及对五条公开路线的评分。此外,本文还探讨了PCIe6.0/7.0、CXL3.0/3.1、NVLink5.0、UCIe2.0、硅光互连及近存计算(NDP)等技术路线的互补价值。
六、国产AI生态系统的存储架构建议
本文针对国产AI生态,提出了芯片级CXL原生支持、整机级机柜拓扑重构、云-边-端权重分片协同的系统级路线图。该路线图依据主要互联网架构提供商的公开数据进行验证,具有较高的可行性。
七、结论与未来工作
PCIe已不再是AI系统的决定性总线,而是多层异构互连生态中的低速边带。通过CXL、UCIe、硅光与NDP的协同演进,AI基础设施有望在2027年前实现带宽赤字的最优解。未来工作将围绕统一编程抽象、可靠性模型、光-电协同、政策与标准等方面展开。
八、参考文献
列出相关参考文献。