推理时代存储是核心瓶颈,存力之争的时代已经到来
核心观点
- 以存代算成为大趋势:海外厂商对存储投资的信心和决心显著提升,表明存储在AI推理时代的重要性日益凸显。
- 存储直接决定效率和结果:在应用商业化落地阶段,存储性能直接影响推理任务的效率和最终结果。
- Kv cache线性增长:随着推理端上下文数据量的增加,Kv cache呈线性增长趋势,Agent商业化落地阶段需要更强的上下文记忆能力。
技术挑战与解决方案
- GPU+HBM的局限性:现有GPU+HBM方案在处理任务和效率上存在限制。
- 结构化内存与内存池化(CXL):结构化内存和内存池化技术成为必要选择,以满足AI对算力、长记忆和强推理的需求。
研究结论
- AI对算力、长记忆和强推理的需求:AI推理时代,AI系统对算力、长记忆和强推理能力的需求显著增加。
- 核心关注领域:
- 原厂:美光、海力士、三星。
- 存储模组:闪迪、香农芯创、开普云、德明利。
- 芯片:帝科股份(Q4利润超预期,CXL)。
- CPU:海光信息、禾盛新材。
- 设备&封测材料:雅克科技、佰维存储、长电科技、华源控股。