需求的爆发已是共识,推理时代是国产芯片的黄金时代,CSP的下单将持续。两大重要趋势:
-
纯推理芯片的崛起
- 不一定是ASIC,可以是GPGPU,但会越来越专用。
- 核心指标为TDP(TFLOPS/Watt)和吞吐,而非传统算力、显存、带宽。
- 英伟达Feyamann架构融合Groq LPU-SRAM、OpenAI与Cerebras合作、字节自研ASIC/PPU等案例印证此趋势。
- SRAM作为极低延迟、高确定性算力的补充,不会完全取代DRAM/HBM。
- 国产芯片厂商需理解应用场景,云、深度配合云业务的芯片有优势,卡脖子程度缓解。
-
推理系统革新
- 从Chatbot的“快速吐字”转向Agent的“反复推演”,系统设计需形成类人三层网络:
- 快反应层(脊髓/反射弧):纯推理芯片提供极致低延迟反馈。
- 慢思考层(大脑皮层):超大吞吐算力集群并行复杂逻辑,CPU加入多核多线程调度需求,仍需GPU协同。
- 记忆层(海马体):存储Agent终身记忆和KV Cache,如英伟达ContextMemory System通过DPU管理SSD,未来方案可能更多。