发现报告 - AI推理芯片的架构有哪些？例如SRAM架构，3D DRAM + GPU，GPU-MPU分离架构？

深度思考

我将梳理AI推理芯片的架构相关内容，目前已明确第一种架构为Groq采用的全片上SRAM架构，具备低延迟优势。接下来我会按规范标注对应引用，目前已梳理出第二类推理架构为层级化协同存储GPU架构，适配NVIDIA相关产品，可按需调配算力。接下来我梳理了第三种PD分离式推理架构，它可拆分推理阶段适配不同芯片，能大幅提升每瓦token性能。我正在梳理主流AI推理架构的分类，目前已明确前两类：一是全片上SRAM专属推理架构，以Groq产品为代表，可消除内存墙瓶颈，适配大参数模型场景；二是多层级存储协同GPU推理架构，是当前主流应用方案，能平衡性能与部署成本。我已梳理完成剩余三类AI推理架构的核心信息：预填充-解码分离架构可提升算力利用率35%，是当前主流方案；Cerebras的WaferScape架构性能领先主流GPU15倍，适配超高性能推理场景；DPU驱动的分布式池化架构适配长上下文、多轮Agent推理需求。我已核对完各架构内容的引用，修正了重复引用的问题，确认所有内容均来自参考资料无编造，还梳理好了清晰的分点呈现框架。

结合目前公开落地的技术方案，主流的AI推理芯片/系统架构主要可以分为以下几类：

全片上SRAM专属推理架构
这类架构的典型代表是Groq推出的LPU（语言处理单元），完全摒弃了外部DRAM或HBM，把所有模型权重、KV缓存、激活值全部存储在片上SRAM中，同时搭配无缓冲区的确定性VLIW（超长指令字）架构，由编译器精准调度所有执行流程，从根源上消除了传统架构的“内存墙”瓶颈，实现超低延迟、性能完全可预测的推理效果。因为单颗芯片片上SRAM容量有限，还支持大规模芯片互连做模型分片，来承载大参数模型的运行。【2】
多层级存储协同GPU推理架构
这是当前AI服务器领域应用最广泛的主流架构，采用SRAM-HBM-DRAM-SSD/HDD的金字塔分层存储协同机制，不同层级存储器按性能、成本特性分工：SRAM靠近计算核心，专门处理最热的Token生成和访问频率最高的KV Cache；HBM作为主带宽层存储模型主体权重和“温”上下文；DRAM负责承载中间计算结果、批处理队列，充当CPU和GPU的数据交换桥梁；SSD/HDD负责大容量的模型参数、历史数据归档存储，通过各存储层的分工配合最大化GPU算力利用率，平衡性能与部署成本。【1】【4】
Prefill-Decode（预填充-解码）物理分离推理架构
也叫PD分离架构，是英伟达Dynamo推理服务框架主推的高效架构，打破了传统把推理全流程放在同一块GPU上运行的设计，将LLM推理拆分为两个特性完全不同的阶段：计算密集型的预填充阶段、内存密集型的解码阶段，分别部署到不同适配的计算芯片上运行，比如把预填充任务交给算力更强的通用计算芯片，对延迟敏感的解码任务交给低延迟专用推理芯片，两个阶段各自按需优化资源，最高可将GPU每瓦Token处理性能提升35倍。【5】【7】
晶圆级全集成SRAM推理架构
代表产品是Cerebras的晶圆级引擎WSE-3，不走多颗小芯片互连补SRAM容量的路线，直接在单颗晶圆级芯片上集成最高44GB的大容量片上SRAM，实现21PB/s的超高片上存储带宽，在大参数模型推理任务中输出速度可达3000tokens/s以上，性能比主流GPU云推理快15倍，是面向超高性能推理场景的特殊架构路线。【3】
DPU驱动的分布式池化推理架构
代表是英伟达推出的Inference Context Memory Storage Platform平台，由BlueField-4 DPU作为核心驱动，搭配支持RDMA的高速以太网底座，在机架甚至跨节点集群层面实现GPU上下文容量的扩展，支持多GPU间的高带宽KV Cache共享，还能和Dynamo框架协同，实现KV缓存在HBM、CPU内存、片外存储之间的无缝流动，特别适配长上下文、多轮交互的Agent类AI推理场景。【10】