从TurboQuant看显存应用趋势背景AI从简单对话向

背景：AI技术从“简单对话”向“智能体（Agent）”演进，导致上下文需求从8K tokens激增至1M tokens，单用户FP16精度下的KV Cache显存占用从5GB飙升至640GB以上（以Llama-3-70B，GQA级别为例），单机8卡集群已触及物理上限。显存需求的指数级膨胀与HBM容量、成本间的矛盾使得显存优化成为必然，也为Agent AI进一步爆发提供保证。

从TurboQuant看显存应用趋势：

• Google TurboQuant：Google发布的向量算法体系，主要压缩大模型推理中上下文的显存占用。通过PolarQuant算法，将每个向量压缩至平均2.67bits（基础量化2bits+QJL修正1bits，均摊月0.67bit），在近乎无损精度下，将KV Cache显存占用降低6倍以上，计算性能提升8倍以上（算法逻辑简化及硬件优化贡献1倍以上提升）。
• 应用情况：Google于25年4月以论文形式公开TurboQuant，3月以博客介绍此技术路线，目前Google内部尚未采用，仍处探索接待阶段，实际应用仍需观察。
• 限制：即使将KV cache显存压缩6倍，仍远无法满足Agent时代KV Cache百倍量级增速。

影响：

• 显存优化为持续趋势，看好Agent AI时代存力爆发需求。
• GTC英伟达提出“Token工厂经济学”，强化了存储在AI基础设施中的战略地位，带宽与容量等存力指标已成为系统升级的核心。类似TurboQuant降低单token生成成本，助力云厂商提升资本回报率，支撑AI Capex持续投资，同时意味着存储产业的盈利天花板将被长期打开。
• 市场预期：看好存储紧缺下主流至利基存储全面缺货涨价，多家厂商反馈26Q2涨幅环比仍相仿，预计行业供不应求至少到2027年底。

核心推荐：

• 存储模组公司：短期业绩爆发能力强，看好佰维存储、德明利等业绩超预期机会。
• 存储原厂及贴近原厂的设计公司：包括长鑫科技（未上市）、普冉股份、兆易创新、北京君正、澜起科技等。