GoogleTPUv9技术方案封装与供应链核心问答关于

关于Google TPU v9的设计方案，目前有哪些已经确定的技术方向和评估进展？ 关于Google TPU v9的设计方案，目前有哪些已经确定的技术方向和评估进展？ 目前仍处于早期评估阶段，主要进行分模块、分线路的评估，包括IP评估、EDA、以及CAE仿真分析。 虽然也存在不使用HBM的备选方案，但这并非主流方向。 3D堆叠主要指对计算Die进行进一步堆叠，整合3D DRAM和SRAM或其混合体。 该设计的核心目标是为超大规模推理基础设施服务，要求在处理高batch size的同时，能够支持深度推理。 当前设计面临的挑战是片上SRAM缓冲容量不足，导致大量权重访问需在HBM和主计算芯片间反复进行，从而造成计算效能损失。 在TPU v9的3D堆叠方案中，SRAM是堆叠在计算芯片的上方还是下方？ 是否存在将SRAM集成于中介层内部的技术可能性？ 在3D堆叠结构中，计算芯片会更靠近中介层，即SRAM堆叠在计算芯片上方。 这是因为计算芯片有大量的外部I/O需要与中介层连接，而存储器只有对内的I/O，用于向计算芯片提供数据读取。 将SRAM集成到中介层内部的方案基本不会采用。 中介层是平面结构，其横向的片间通信无论从接口宽度还是通信载体来看，都不适合高速、大容量的通信需求。 相比之下，3D存储器与计算Die之间采用混合键合（Hybrid Bonding）技术，能提供接近片内I/O的连接密度。 目前，混合键合技术已能实现每平方毫米1万至2万个触点，虽然距离理论上可媲美片内I/O（每平方毫米10万个触点）的极限水平尚有差距，但对于存储器I/O而言已经足够。 Google TPU v9的后道封装业务是否会倾向于选择英特尔？ 目前没有听说TPU项目有前道在台积电、后道在英特尔的方案，主流趋势是完全在美国本土制造。 关于英特尔与Google的合作，需要考虑到博通在其中的角色。 英特尔18AP工艺当前主要服务于英伟达（解决高性能计算工艺配方）和苹果（解决消费电子工艺配方）。 预计到2027年，当18AP工艺进入规模量产，14AE工艺进入早期风险市场阶段时，由于工艺已得到验证，英特尔可能会引入博通这类ASIC设计服务业务。 博通目前处于场外待命状态，不愿用其客户的项目为英特尔的18AP工艺进行风险爬坡。 一旦14AE工艺成熟，博通的一个核心客户确实是谷歌。 因此，未来存在谷歌TPU完全采用英特尔前后道工艺的可能性，但这仍是较远期的规划。 在TPU v9项目中，联发科与博通的参与情况如何？ 在TPU v9项目目前的早期阶段，即架构评估、关键技术选型和IP选择层面，主要是新思与Google直接合作。 博通的参与度不高，也未涉及联发科。 联发科在TPU v8项目上的表现据称不佳。 未来的合作模式将取决于谷歌的商业决策。预计哪一代TPU的Die Size会显著增大，以及增大的幅度如何？预计TPU v9这一代的Die Size会变得更大。虽然具体尺寸尚不明确，但可能会出现类似NVIDIA Ultra这种多Die整合的结构。