本报告核心内容围绕AI算力基础设施的转型展开,指出投入重心从计算能力转向存储容量、带宽和成本。内存成本占比将从25%提升至68%,推动云厂商资本开支向存储迁移。报告重点分析了长上下文推理引发的KV缓存膨胀问题,即高达50%的算力空转损耗形成的“重算税”,并提出了前缀缓存、非对称量化等技术应对方案。同时,报告探讨了存储层级重构,如G3.5层(推理上下文内存存储层)以低成本闪存池替代昂贵GPU,以及HBM4与先进逻辑工艺对存储原厂毛利率的反超效应。此外,报告还分析了超节点互连技术,包括NVLink、UALink等协议竞争及液冷技术的物理基建卡点问题,并展望了下一代内存介质和存算一体技术的发展趋势。
AI存储赛道正经历深刻变革,未来发展趋势主要体现在存储层级重构和超节点互连技术的加速发展。随着AI模型复杂度提升,存储成本成为算力BOM的关键瓶颈,推动云厂商调整采购策略,预计2027年存储占组件开支将达68%,减少旗舰GPU采购。G3.5层作为新提出的存储层级,以白盒闪存池形式大幅降低成本,较传统企业级存储降低10倍。HBM4标准演进和先进逻辑工艺的应用将推动存储原厂毛利率提升,中国产业链在存算一体领域通过长鑫存储首发LPDDR6、推进12层HBM3E试产等技术实现系统突围。超节点互连方面,NVLink、UALink等协议竞争激烈,液冷技术成为物理基建卡点,需进一步突破。下一代内存介质如4F²垂直沟道、无电容3DX-DRAM等也将推动市场发展。
本报告重点分析了AI算力基础设施的转型方向,特别是存储层级的重构和超节点互连技术。首先,报告深入剖析了“重算税”问题,即长上下文推理导致KV缓存膨胀引发高达50%的算力空转损耗,并提出了软件与调度层应对方案,如前缀缓存、非对称量化、P/D读写分离等技术,可有效降低损耗。其次,报告聚焦存储层级重构,提出G3.5层(推理上下文内存存储层)以低成本闪存池替代昂贵GPU,白盒闪存池成本低于8万美元/PB。此外,报告重点分析了HBM4与先进逻辑工艺对存储原厂毛利率的反超效应,美光FQ127毛利率高达85.95%。在超节点互连方面,报告分析了NVLink、UALink等协议竞争及液冷技术瓶颈,并关注中国产业链在存算一体领域的进展,如长鑫存储首发LPDDR6、华为发布昇腾960全光超节点等。
当前AI存储市场呈现存储成本占比快速提升、重算税问题突出、存储层级重构加速等特点。根据报告关键数据,计算裸片占比已降至25%,内存与封装占比升至64%,存储成本成为算力BOM的关键瓶颈。长上下文推理导致KV缓存膨胀,引发高达50%的算力空转损耗,64K长文本下首字延迟恶化至53秒,128K高并发下易触发显存耗尽。云厂商为应对此问题,将调整采购策略,2027年存储占组件开支将达68%,减少40%-45%旗舰GPU采购。存储层级重构方面,G3.5层(推理上下文内存存储层)以低成本闪存池替代昂贵GPU,白盒闪存池成本低于8万美元/PB。HBM4带宽达2.048TB/s,逻辑底座代工方面,英伟达要求台积电3nm代工,三星将50%的4nm产能用于自家代工业务。存储原厂毛利率反超逻辑芯片设计公司,美光FQ127毛利率高达85.95%。超节点互连方面,NVLink5单卡1.8TB/s,NVLink6单卡3.6TB/s,但液冷技术成为物理基建卡点。
本报告提示AI存储领域需关注以下风险:首先,存储层级重构技术尚处发展初期,G3.5层等新方案大规模应用仍需时间验证,存在技术路线不确定性风险。其次,超节点互连技术面临协议竞争和物理基建瓶颈,NVLink、UALink等协议标准尚未统一,液冷技术成本高、散热效率待提升,可能制约互连性能进一步提升。再次,下一代内存介质如4F²垂直沟道、无电容3DX-DRAM等新技术商业化落地存在不确定性,需关注研发投入与市场接受度的匹配问题。此外,存储原厂毛利率提升依赖于先进逻辑工艺的应用,若工艺制程出现波动或产能不足,可能影响毛利率表现。最后,中国产业链在存算一体领域虽取得进展,但与国际领先水平相比仍存在差距,需持续加大研发投入和技术突破力度。