2024年AI大算力芯片技术发展与产业趋势

冯明宪亚太芯谷科技研究院2024.07.12. AI时代财富密码 u1、2024年全球半导体产业链产值占全球经济总量约1%，但其资本市场市值占全球比近10%。 u2024年AI芯片（GPU）产业营收占全球半导体市场20%。 u2024年AI芯片产业两大核心企业NT联盟（英伟达与台积电）营收合计占半导体全产业链营收约21%，净利润约占50%，市值约占半导体总市值50%，占全球资本市场约5%。 注：2024年NT联盟预计总营收将达到约2000亿美元，总净利润1000亿美元，总市值约5万亿美元。 英伟达GPU产品规划2027 2024年6月2日，英伟达CEO黄仁勋在台湾大学发表主题为“开启产业革命的全新时代”的现场演讲，演讲中梳理并介绍了英伟达的最新产品和成果，以及对未来产品的规划。黄仁勋宣布Blackwell芯片已经投 产 ， 预 计 将 于2 0 2 5年 推 出Blackwell UltraAI芯片，2026年推出下一代AI平台“Rubin”，2027年推出ubinUltra，更新节奏将变为“一年一次”。黄仁勋称，8年内，英伟达GPU产品运算能力增长了1000倍，几乎超越了摩尔定律在最佳时期的增长。 全球数据量与GPU市场规模 根据IDC和华为GIV团队预测，全球每年新产生的数据总量随着数字化的发展快速增长，从2020年每年产生2ZB到2025年每年产生175ZB，2030年将达到1003ZB，即将进入YB（1 Yotta Bytes = 1000 Zetta Bytes=1024Bytes）时代。另外，根据DIGITIMES研究中心，2024年全球服务器用GPU（包括存储芯片在内的板卡与子系统）产值将首次突破1000亿美元，达1219亿美元。其中，高端服务器GPU产值比重将超过80%，达1022亿美元，出货量可达482万颗，英伟达将占比92.5%，AMD占比可达7.3%。 一．AI芯片：从MOSFET到CoWoS（HI） 二．CoWoS/ HBM技术与发展 三．AI大算力芯片产业市场与投资 四．AI大算力芯片产业发展趋势 全球半导体技术发展关键节点 William Shockley、John Bardeen、Walter Brattain Mohamed M. Atalla、Dawon Kahng William Shockley 蒋尚义、余振华 金属—氧化物半导体场效应晶体管-MOSFETMetal Oxide Semiconductor 结型构造双极型晶体管-BJT 电晶体-点接触形式的双极性晶体管 CoWoS（Chip on WaferonSubstrate） Field Effect Transistor （Bipolar Junction Transistor） CoWoS本质上是一种异质异构集成技术 异构异质集成（HI，Heterogeneous Integration）分为异构(HeteroStructure)集成和异质(HeteroMaterial)集成两大类。HeteroStructureIntegration（异构集成）主要指将多个不同工艺节点单独制造的芯片封装到一个封装内部，以增强功能性和提高性能，可以对采用不同工艺、不同功能、不同制造商制造的组件进行封装。HeteroMaterial Integration（异质集成）是指将不同材料的半导体器件集成到一个封装内，可产生尺寸小、经济性好、灵活性高、系统性能更佳的产品。 英特尔的EMIB与三星的I-Cube 英特尔也于2017年推出EMIB（EmbeddedMulti-Die Interconnect Bridge）先进封装技术，即“嵌入式多芯片互连桥接”，该技术使用传统覆晶芯片方式连接晶粒和基板，通过一个很小的硅片实现晶粒直接的桥接，可将芯片互连的凸点间距缩小到45微米。三星于2021年发布2.5D封装技术Interposer-Cube4 (I-Cube4)，I-CubeTM是一种异构集成技术，在一个硅中介层上水平放置一个或多个逻辑裸片（CPU、GPU等）和多个高带宽存储器(HBM)裸片，使一个封装中的多个裸片像单个芯片一样运行。 一．AI芯片：从MOSFET到CoWoS（HI） 二．CoWoS / HBM技术与发展 三．AI大算力芯片产业市场与投资 四．AI大算力芯片产业发展趋势 CoWoS：S、R、L S即为硅（Si）衬底作为中介层、R为RDL（重布线）、L为LSI（嵌入式）。其主要区别在于芯片与芯片之间的连接、芯片和基板之间的连接方式不同。CoWoS-S为最早开发的系列，芯片通过Chip on Wafer（CoW）的封装制程连接至硅晶圆，再把CoW芯片与基板（Substrate）连接，整合成CoWoS。CoWoS-R为扇出型晶圆级封装，使用重布层连接。CoWoS-L也是扇出型晶圆级，它结合了CoWoS-S和InFO技术的优点，使用局部硅互连嵌入在重布层进行整合。CoWoS为台积电历史最悠久的技术，适用于高速运算产品。 CoWoS技术的技术难点 1、散热 Al算力芯片体积小、集成度高、速度快，导致热量集中，不易散出，致使IC功能下降。 目前用于Al高速运算的服务器是泡在液体里来解决散热问题，而有Al芯片的携带式产品，散热问题更严重，散热不良导致芯片无法运行，或是使芯片损坏。 2、Interposer及TSV应力破裂 TSV是先进封装的关键结构单元。在TSV转接板上，由于铜和硅的热膨胀系数差别较大，这种热不匹配所产生的热应力会造成接口的脱层或材料的开裂而直接影响TSV的可靠性。 CoWoS技术发展趋势 目前CoWos-S可支持的最大尺寸约为2500平方毫米即三倍掩膜版尺寸，也就是Blackwell GPU上的两颗die+8xHBM的设计，再想增大面积恐怕不易。因此，CoWos-L将成为下一阶段的主要封装类型。 台积电系统级晶圆技术将迎来大突破，采用CoWoS技术的芯片堆栈版本，预计于2027年准备就绪，即CoWoS技术整合SoIC、HBM及其他元件，进而打造一个强大且运算能力媲美资料中心服务器机架，或甚至整台服务器的晶圆级系统。2027年后，3D版的CoWoS技术：SoW，有望登上历史舞台。 HBM应用的关键：AI芯片存储墙 u算力的增速远大于存储的增长速度。目前绝大部分的计算系统基于冯诺依曼计算机体系，而该体系下存储与计算单元分离，需要通过总线不断在存储与处理器之间传输数据，因此存储的带宽制约了算力的利用效率。此外，从外部处理器到内存之间不断进行数据的搬运，搬运时间往往是运算时间的成百上千倍，产生的无用能耗过多。 u模型体量的增速远大于算力卡存储容量的增速。随着Transformer模型的大规模发展和应用，模型大小每两年平均增长了240倍，而单个GPU内存容量仅以2年2倍的速度扩大。为了摆脱单一算力芯片内存有限的问题，可以将模型部署于多颗GPU上运行，但在算力芯片之间移动数据，仍然比单一芯片内部移动数据低效，因此算力芯片内存容量的缓慢增速制约了更大规模的模型应用。 HBM基本涵义 HBM（High Bandwidth Memory，高带宽存储）是一种新型的CPU/GPU内存芯片。从结构上看其特点有：（1）3D堆叠结构并由TSV互连：HBM由多颗DRAM die堆叠成3D结构，使用TSV技术实现信号的共享与分配；（2）高I/O数量带来高位宽：HBM的每颗DRAMDie包含多个通道，可独立访问。每个通道又包含多个I/O口，位宽64/128bit，使HBM的总位宽高达1024bit。 HBM与其他存储芯片参数对比 uHBM2E和HBM3的单引脚最大输入/输出（I/O）速度分别达3.2Gbit/s和6.4Gbit/s，低于GDDR5存储器的7Gbit/s，但HBM的堆栈方式可通过更多的I/O数量使总带宽远高于GDDR5；例如HBM2带宽可以达到307 GB/s； u以DDR3存储器单引脚I/O带宽功耗为基准，HBM2的I/O功耗比明显低于DDR3/DDR4和GDDR5，相比于GDDR5存储器，HBM2的单引脚I/O带宽功耗比数值降低42%。 HBM采用的主要封装技术 先进封装技术在HBM制造中大放异彩，包括TSV（硅通孔）、Bumping（凸点制造）、堆叠键合等技术，在与逻辑芯片共封时又另外使用中介层、系统级封装SIP等技术。 HBM技术将追求更高带宽 目前，三大存储厂商已将HBM4已经列入研发计划：1、堆叠层数：HBM4在堆叠层数上，除了现有的8/12层外，将再往16层发展，更高层数也将带动新堆叠方式Hybrid bonding的需求。HBM4 12层将于2026年推出，而16层则预计于2027年问世。 2、逻辑die：受到GPU/HBM规格更往高速发展带动，Trendforce预计HBM最底层的Logic die（Basedie）将采用12nm制程，该部分将由晶圆代工厂提供，使得单颗HBM需要结合晶圆代工厂与存储器厂的合作。 3、客制化：根据韩国中央日报报道，SK海力士正在招募CPU、GPU等逻辑芯片的设计人员，目标是将未来的HBM4以3D堆叠的形式堆叠在英伟达、AMD等公司的逻辑芯片上，预计该HBM4内存堆栈将采用2048位接口。该方案未定，只是在讨论中。 大纲 一．AI芯片：从MOSFET到CoWoS（HI） 二．CoWoS/ HBM技术与发展 三．AI大算力芯片产业市场与投资 四．AI大算力芯片产业发展趋势 全球GPU市场规模预估 根据亚太芯谷科技研究院分析预测，2023年，全球GPU市场规模为700亿美元，随着人工智能科技的发展，全球GPU市场需求不断增长，预计2027年全球GPU市场规模将达到4000亿美元，2023-2027年复合增长率54%，2032年达到5500亿美元，2023-2032年复合增长率为25.7%。 全球GPU市场为三足鼎立的寡头竞争格局，英伟达在独显领域一家独大，市场份额占80%以上，AMD占比约10%，英特尔占比约5%。 中国大陆厂商华为正快速崛起，市场需求量呈现出爆发式增长。根据华为内部和采购方渠道透露的信息 ，2 0 2 3年 华 为 算 力G P U出 货 量 约 十 万 片 ， 而2024年产能增加到几十万片，下单需求已经达到上百万片。 HBM市场规模预估2026 由于更强的生成式人工智能（Gen AI）需求推动了更高的AI服务器出货量和每个GPU中更高的高带宽内存（HBM）密度，亚太芯谷科技研究院预计HBM市场规模将从2022年到2026年前增长15.64倍（4年复合年增长率77%），从2022年的23亿美元增长至2026年的230亿美元。 2024：AI芯片NT联盟的三个千亿里程碑 2024年，台积电，英伟达营收预估分别达到1000亿美元，净利润预估合计1000亿美元。 NT联盟市值合计超过4万亿美元 大纲 一．AI芯片：从MOSFET到CoWoS（HI） 二．CoWoS/ HBM技术与发展 三．AI大算力芯片产业市场与投资 四．AI大算力芯片产业发展趋势 Fan-in与Fan-out 05 06 07 产业发展趋势01：新架构GPU 可重构计算（CGRA）是指利用系统中的可编程计算资源（处理单元和互连网络），根据应用的需要和计算任务的数据流特点，动态构造出最适配的计算架构，达到逼近专用集成电路的高性能。 产业发展趋势02：FOPLP技术 扇出型板级封装FOPLP，所谓的扇出（fan-out）是相对于扇入（fan-in）来说的，其封装的RDL线路和引脚不仅在芯片所处的投影面积之内，而且在投影面积的外围也有分布。面板级封装（PLP，panel level package），则是相对于晶圆级封装（WLP，wafer level package）来说的，就是之前采用晶圆作为载板的封装改为采用面板作为封装的载板。这些载板的材质可以选择