他今天来Hot Chips演讲,但我有其他安排,所以没能亲自见面 —— 我只是在昨天提前与他联系过。 他已经越过了一个障碍,现在正在推动zHBM作为下一个阶段。 三步进化路线图: 阶段1(卸载与优化):通过采用紧凑的D2D PHY并将内存控制器卸载到B‑die,从而回收xPU硅片面积。 阶段2(功能扩展):将增值逻辑 —— 如遥测传感器、外部内存扩展和PEs——直接集成到B‑die中。 阶段3(真正的3D融合):通过zHBM消除2D/2.5D接口,实现xPU逻辑与DRAM堆栈的直接垂直集成,以实现最大能量效率。 从幻灯片中: 行业正迅速转向紧密耦合的AI内存解决方案。对于AGI和推理,关键挑战是在严格的功 率限制内最大化每秒令牌数。zHBM被呈现为终极解决方案:xPU与C‑die堆栈的真正3D垂直集成,完全消除2.5D中介层。 zHBM的关键差异化因素是分布式I/O和真正的3D结构。分布式I/O最小化堆栈内部数据传输距离,3D结构去除传统的2D接口(HBM PHY或D2D),设计目标是超低功耗。 主要优势是I/O功耗的显著降低。通过去除SERDES(数据对齐/ DQ I/O)开销,zHBM与HBM5相比功耗降低约70%。在系统级别(1×GPU + 4×内存堆栈,假设1200 WGPU),这转化为DRAM带宽提高约230%、节省约100 W,以及整体功率效率提高8.3%。 现场幻灯片内容说明: 第三阶段:3D集成与zHBM。行业趋势为AI内存架构快速转向紧密耦合解决方案;AGI与推理场景的核心挑战是在严苛功耗约束下最大化带宽;zHBM作为最终方案,实现xPU和C‑die堆栈真正3D垂直集成,去掉2.5D中介层。 第三阶段:zHBM概念。核心差异点为分布式I/O与真正3D结构;分布式I/O缩短HBM堆栈内部数据传输距离;3D结构取消HBM PHY、D2D这类传统2D接口,目标实现极低功耗。 第三阶段:zHBM优势。核心收益来自I/O功耗大幅下降;对比HBM5,zHBM功耗下降70%;系统层面,DRAM带宽提升230%,功耗节约100W,整体能效提升8.3%。 总结与结论。新一代xPU与SoC需要定制内存架构;将高级逻辑工艺应用到HBM内存芯片,带来全新架构灵活性;完整落地三步演进路线,最终通过zHBM达成xPU逻辑与DRAM堆栈的3D直接垂直集成,获取最高能效。