国联民生计算机Token通胀模型端优化有望提振国产算力需求继续看好

月之暗面联合清华大学最新发表的论文《Prefill-as-a-Service: KVCache of Next-Generation Models Could Go Cross-Datacenter》提出PrFaaS推理架构方案，通过混合架构将KV Cache吞吐量大幅降低，从理论层面打破了此前Prefill与Deco 【国联民生计算机】Token“通胀”：模型端优化有望提振国产算力需求，继续看好“一芯二模三云”之“一芯” 月之暗面联合清华大学最新发表的论文《Prefill-as-a-Service: KVCache of Next-Generation Models Could Go Cross-Datacenter》提出PrFaaS推理架构方案，通过混合架构将KV Cache吞吐量大幅降低，从理论层面打破了此前Prefill与Decode两个推理阶段必须绑定在同一RDMA域的调度限制，为推理任务跨地域、跨异构集群灵活调度提供了可行路径参考。 国产模型端优化有望推动国产算力加速发展 提升国产异构算力利用效率：Prefill与Decode两类任务可以调度到更加适配的硬件集群运行。 降低国产算力部署门槛：PrFaaS架构下KV Cache传输不再依赖昂贵的RDMA网络设备，国产芯片集群部署成本降低。 支持跨域全局调度，同时混合架构降低了KV Cache对显存带宽的要求，顺应国产算力的超节点发展等产业趋势并显示性价比优势。 AI Agent时代Token需求的非线性增长，或直接带来超预期的AI算力需求，我们仍建议按“一芯二模三云”作为投资主线，重视以“一芯”寒武纪为代表的国产算力的重要价值。 风险提示：行业需求释放进度不及预期；行业竞争加剧。