谷歌TPU V8和V9的生产已暂停,并计划将互联方式从Torus结构调整为类似NVIDIA的SuperPOD fully connected结构,以满足Anthropic对后训练任务的需求。目前架构调整方案仍在探讨中,并取得部分进展。
TPU V8和V9生产暂停及架构调整具体情况:
- TPU V8和V9的生产已暂停,台积电给予谷歌特别许可窗口,允许以respin方式延迟订单。
- TPU V8需要对Zebrapackage进行改动,并重做I/O die以支持专有的scale-up协议,交换机方案可能由Marvell提供。
- TPU V9问题更复杂,此前英特尔后道封装工艺良率不佳,谷歌自身设计问题导致综合良率偏低,因此V9本就需要修改,此次调整正好将I/O die部分交由联发科进行redesign。
- V9计划用于预训练,需要支持256到512卡的大规模超节点,因此很可能与AsteraLabs的UALink交换机方案搭档。
行业主要厂商交换机层面最新进展:
- 支持可编程传输层协议的芯片正在开发中,预计最快在2026年底推出样片。
- Marvell在交换机层面进展顺利,已能公开阐述其多代产品的清晰路线图。
- AMD内部类似项目进展不佳,存在不确定性。
谷歌TPU集群架构新规划和技术评估:
- 转向超节点方案后,柜间互联仍计划沿用ICI,但可能会保留OCS。
- 超节点内部将维持72卡的规模,下一代TPUV9可能会追求构建128卡或144卡的更大节点。
- 上层互联将采用ICI与硅光OCS组成的类Dragonfly拓扑结构。
- 柜间互联中,谷歌也将采用NPO方案。
谷歌TPU V8和V9最新开发进度:
- TPU V8的respin主要涉及IO Die和package,其computedie部分没有变化,量产时间预计将推迟。
- TPU V9的延期更为严重,预计要到2027年6月才能开始生产,大规模上量则可能要到2027年下半年。
谷歌内部对于持续投入自研TPU与转向使用GPU之间是否存在分歧:
- 谷歌内部对于持续投入自研TPU与转向使用GPU之间存在显著分歧。
- 算力短缺和路线不定的状况已对外部合作产生影响,例如在AIEDA领域,谷歌内部对使用基于GPT的模型存在抵触情绪。
谷歌TPU为支持更大规模的集群而进行的拓扑结构调整的影响:
- 这种调整将带来显著的软件层面的变化,谷歌需要对现有的ICI通信库和部分算子库进行修改,并开发一套全新的通信库。
算子优化方面:
- AI技术的应用进展顺利,尤其在硅谷,已能有效优化包括华为MindSpore在内的算子,因此这方面并非瓶颈。
- 真正的瓶颈在于大规模组网时遇到的实际问题,这些问题只有在实际组网后才会暴露。
谷歌与联发科的合作项目(如V8改版)存在的不确定性与风险:
- 联发科在IP能力上相对较弱,其行事风格往往是不到最后关头不愿做出改变,甚至宁可交付有功能缺陷的版本再进行迭代。
- 公司同时在与谷歌和联发科接洽,试图将这条业务线串联起来,过程中存在风险,例如V8的改版计划虽然已经制定,但执行过程不一定顺利。
Agent推理场景下,TPUv7、v8等非英伟达方案与英伟达的超级计算集群相比,性能差异:
- 无论是TPUv7还是现有的v8i,在承载Agent推理方面都不会是太大的问题,主要差异在于规模、成本和效率。
- 真正的关键瓶颈在于后训练(post-training)阶段。
国内市场对H200等产品的关注度已下降,转而追逐RTX,因为后训练已成为模型能力差异化的根本依赖。
Meta在OCP上宣布将英伟达的交换机产品纳入其体系,这反映了市场在网络基础设施选择上出现了哪些新变化:
- 近期一个显著的变化是Spectrum交换机的销量再度回升。
- 许多公司正像Falcon项目那样,将其训练基础设施向Spectrum平台迁移。
NVIDIASpectrum交换机与博通的以太网交换芯片相比,其本质区别是什么?为何Spectrum的需求量近期飞速上升?
- Spectrum之所以需求量快速上升,核心在于其对InfiniBand网络的支持。
- IB网络并非传统的以太网,它采用静态路由表,属于静态约束管理,类似于通过软件实现的硬件交换概念,其交换开销较低。
鉴于NVIDIASpectrum方案的崛起,这对博通会构成不利影响吗?
- 是的,这对博通构成了多重不利因素。
- AIAgent的兴起,直接冲击了博通和Marvell等公司的传统ASIC设计服务业务。
- 博通僵化的商业模式,例如其项目合作方式,使得许多客户不愿与其合作。
博通与谷歌TPU的合作模式具体是怎样的:
- 该合作模式的初衷是,如果TPU未来能够成为标准化产品,博通将帮助谷歌向其他数据中心客户独立销售TPU,即把TPU当作GPU来销售。
- 博通希望在此过程中扮演系统解决方案提供商的角色,类似于超微之于NVIDIA,从而开拓新的业务增长点。
谷歌为何会考虑采用NPO方案?相较于已经进入产能爬坡阶段的CPO方案,NPO目前似乎尚未有成熟的验证方案,其优势何在?
- 谷歌及微软等公司评估NPO方案,主要是出于对功耗和链路预算的考量。
- 与传统的LPO方案相比,NPO在链路预算方面有更多余量,并且整体功耗表现更优。
NVIDIA的CPO量产交付面临哪些挑战,以及NPO方案在其中的定位是什么?
- CPO的量产交付主要面临来自台积电方面的挑战,目前尚未有明确的改善迹象。
- 在此背景下,NPO(近封装光学)被视为一个相对中庸的方案,它能够在各方面提供一定的进展与改进,同时又没有根本性的技术或产能限制。
关于In-Fabric技术的最新进展及其应用方向:
- In-Fabric技术目前正与NVIDIA积极推进的硅光方案进行融合。
- 原有的NVLink方案可能暂时被搁置。
- NVIDIA正在评估几种可能性:若现有CPO方案因台积电的良率问题无法实现,可能会转向NPO方案,或是采用NVLinkoverEthernet方案,后者同样会利用到In-Fabric的技术储备,但其应用场景将是在柜间而非柜内。
关于多层SRAM结构的技术研发目前有哪些新进展:
- 三星在2纳米工艺和台积电在1.6纳米工艺上都在尝试SRAM-only的设计。
- 目前第一批样片已经产出,但在容量提升上并不显著,且部分尝试路径因可靠性问题被认为不可行。
- 当前正在优化SRAM的结构。
- 项目计划于2027年底或2028年交付,因此仍有时间进行研发。
谷歌在OCS方案上的变化是否会影响到Lumentum等公司的订单,以及当前市场对光互联技术的整体看法是怎样的?
- 谷歌OCS方案的变化可能会对相关订单产生一些影响。
- 市场上对于光互联技术的应用是渐进式的,预计从2027年开始会有一些NPO的尝试性实现,但初期量不会很大。
NVIDIA近期的业务发展有哪些新变化,尤其是在CPU和GPU产品线上:
- NVIDIA的CPU订购量表现不错,但GPU,特别是Rubin系列的爬坡速度未及预期。
- CPU市场整体处于供不应求的状态,尤其是在Agent驱动的应用场景(如工业软件自动化使用)中,对CPU用量的需求可能是传统云端综合企业负载的十倍以上。
Agent驱动的应用场景具体是如何拉动CPU需求的:
- Agent驱动的应用,包括其运行所需的Sandbox环境,极大地推高了CPU需求。
AI在EDA等工业软件领域的应用模式是怎样的,它对CPU的需求有何影响:
- AI正被用于驱动EDA的自动化流程,改变了以往由人工按部就班操作EDA设计芯片的模式。
- AI能够直接融合并压缩这些流程,在高维隐空间内进行长链式的推理计算,从而将设计时间缩短一半以上,并提升多项性能指标。
在AI驱动工业软件的场景下,CPU架构(如ARM与x86)的差异是否重要?这些CPU主要承载何种负载?
- 在AI驱动工业软件的场景下,CPU架构的差异(如ARM与x86)本质上不大。
- 这些新增的CPU需求并非用于运行传统的工业软件负载,而是用于运行AIagent。
头部AI实验室(如OpenAI、Anthropic)在英伟达GPU需求中的占比据称已降至约30%,那么其余70%的需求来自哪些领域?这种需求扩散的趋势是否显著?
- 目前GPU的主要消耗方是云厂商,包括一些第三方数据中心。
- 因此,两大模型厂商所消耗的GPU占比能达到三分之一已属不易,剩余部分正逐渐被各类企业、新兴云服务商以及EDA等特定工业行业消化。
业界是否正在普遍转向采用“后训练”模式?这种模式对算力市场,特别是GPU的使用场景和需求结构产生了哪些影响?
- 是的,AI已经具备了初始生产力,而这些生产力主要通过后训练而非基座模型预训练来实现。
- 在这种趋势下,算力需求变得非常多元化,有时甚至只要是超节点(super-node)即可满足需求。
- GPU的使用场景正在多元化,在没有更优的ASIC方案出现之前,GPU仍然是后训练的唯一生产力工具。
随着企业级后训练需求的广泛扩散,客户对英伟达生态的粘性是否会因此增强?这对ASIC芯片的发展路径有何启示?
- 随着后训练需求的扩散,客户对英伟达生态的粘性确实在提高。
- 这种市场变化为ASIC芯片指明了新的发展方向。例如,D-Matrix近期也转向了英伟达的NVLinkFusion方案,其逻辑在于一旦产品构成超节点,便可用于后训练,从而盘活资产。
- 未来一年,后训练将是市场的主战场,也为ASIC提供了新的发展机遇。