KV Cache 缓存可卸载至 SSD：打破内存墙限制，AI SSD迎来广阔成长空间

KV Cache缓存可卸载至SSD 本报告导读： 半导体《AI发展，热管理的核心瓶颈向芯片聚焦》2025.10.06半导体《商务部发起模拟IC反倾销调查，国产替代加速》2025.09.14半导体《下一代英伟达Rubin CPX内存升级》2025.09.11半导体《中芯国际拟发行A股购买中芯北方49%少数股权》2025.08.31半导体《3D DRAM：云侧内存市场重要竞争者》2025.08.23 针对大语言模型（LLM）发展中面临的“内存墙”难题，基于SSD的存储卸载技术方案可为AI模型高效运行提供新路径。 投资要点： 推理KV Cache容量增长超出HBM承载能力。键值缓存（KV Cache）技术可以优化计算效率、减少重复运算，即将已生成token的Key和Value临时存储起来，后续生成新token时直接复用，无需重新计算，显著提升推理效率。然而，KV Cache需要占用GPU的显存（如HBM），存储历史Key/Value向量，生成的文本越长，缓存数据量越大，可能导致HBM和DRAM超载。面对大模型PB级的天量数据，传统推理架构过度依赖HBM的瓶颈也日益凸显。随着Agentic AI时代到来，模型规模化扩张、长序列需求激增以及推理任务并发量增长，推理的KV Cache容量增长已超出HBM的承载能力，频繁的内存溢出，需要GPU反复计算，造成卡顿迟缓。KV Cache缓存可从GPU内存offload至CPU、SSD。随着推理性 能的重要性不断提升，业界均在探索KV Cache分级缓存管理技术。如英伟达今年5月推出了分布式推理服务框架Dynamo，支持将KVCache缓存从GPU内存卸载到CPU、SSD甚至网络存储，解决大模型显存瓶颈，避免重复计算。其中，KVBM提供G1-G4（GPU memory、CPU host memory、SSD、远端存储)的KV Cache卸载，避免大量KVCache重计算。2025开放数据中心大会之新技术与测试（存储）分论坛中，三星电子高级项目经理针对大语言模型（LLM）发展中面临的“内存墙”难题，提出基于SSD的存储卸载技术方案，为AI模型高效运行提供新路径。三星将KV Cache卸载至NVMe SSD。当KV Cache大小超过HBM或DRAM容量时，该方案可使首token延迟（TTFT）最高降低66%，token间延迟（ITL）最高降低42%，且支持多用户多轮对话场景下的KV Cache重用，随着用户与对话轮次增加，I/O吞吐量稳步上升，主要I/O模式为256KB读写。 AI存储需求激发HDD替代效应，NAND Flash供应商加速转进大容量Nearline SSD。根据TrendForce集邦咨询，AI推理应用快速推升实时存取、高速处理海量数据的需求，促使HDD与SSD供应商积极扩大供给大容量存储产品。由于HDD市场正面临巨大供应缺口，激励NAND Flash业者加速技术转进，投入122TB、甚至245TB等超大容量Nearline SSD的生产。 风险提示：国产替代进程不及预期；技术迭代不及预期。 本公司具有中国证监会核准的证券投资咨询业务资格 分析师声明 作者具有中国证券业协会授予的证券投资咨询执业资格或相当的专业胜任能力，保证报告所采用的数据均来自合规渠道，分析逻辑基于作者的职业理解，本报告清晰准确地反映了作者的研究观点，力求独立、客观和公正，结论不受任何第三方的授意或影响，特此声明。 免责声明 本报告仅供国泰海通证券股份有限公司（以下简称“本公司”）的客户使用。本公司不会因接收人收到本报告而视其为本公司的当然客户。本报告仅在相关法律许可的情况下发放，并仅为提供信息而发放，概不构成任何广告。 本报告的信息来源于已公开的资料，本公司对该等信息的准确性、完整性或可靠性不作任何保证。本报告所载的资料、意见及推测仅反映本公司于发布本报告当日的判断，本报告所指的证券或投资标的的价格、价值及投资收入可升可跌。过往表现不应作为日后的表现依据。在不同时期，本公司可发出与本报告所载资料、意见及推测不一致的报告。本公司不保证本报告所含信息保持在最新状态。同时，本公司对本报告所含信息可在不发出通知的情形下做出修改，投资者应当自行关注相应的更新或修改。 本报告中所指的投资及服务可能不适合个别客户，不构成客户私人咨询建议。在任何情况下，本报告中的信息或所表述的意见均不构成对任何人的投资建议。在任何情况下，本公司、本公司员工或者关联机构不承诺投资者一定获利，不与投资者分享投资收益，也不对任何人因使用本报告中的任何内容所引致的任何损失负任何责任。投资者务必注意，其据此做出的任何投资决策与本公司、本公司员工或者关联机构无关。 本公司利用信息隔离墙控制内部一个或多个领域、部门或关联机构之间的信息流动。因此，投资者应注意，在法律许可的情况下，本公司及其所属关联机构可能会持有报告中提到的公司所发行的证券或期权并进行证券或期权交易，也可能为这些公司提供或者争取提供投资银行、财务顾问或者金融产品等相关服务。在法律许可的情况下，本公司的员工可能担任本报告所提到的公司的董事。 市场有风险，投资需谨慎。投资者不应将本报告作为作出投资决策的唯一参考因素，亦不应认为本报告可以取代自己的判断。在决定投资前，如有需要，投资者务必向专业人士咨询并谨慎决策。 本报告版权仅为本公司所有，未经书面许可，任何机构和个人不得以任何形式翻版、复制、发表或引用。如征得本公司同意进行引用、刊发的，需在允许的范围内使用，并注明出处为“国泰海通证券研究”，且不得对本报告进行任何有悖原意的引用、删节和修改。 若本公司以外的其他机构（以下简称“该机构”）发送本报告，则由该机构独自为此发送行为负责。通过此途径获得本报告的投资者应自行联系该机构以要求获悉更详细信息或进而交易本报告中提及的证券。本报告不构成本公司向该机构之客户提供的投资建议，本公司、本公司员工或者关联机构亦不为该机构之客户因使用本报告或报告所载内容引起的任何损失承担任何责任。 评级说明 投资建议的比较标准 投资评级分为股票评级和行业评级。 以报告发布后的12个月内的市场表现为比较标准，报告发布日后的12个月内的公司股价（或行业指数）的涨跌幅相对同期的沪深300指数涨跌幅为基准。 国泰海通证券研究所 地址上海市黄浦区中山南路888号