驱动人工智能支撑数据中心的半导体生态系统

Powering AI: The Semiconductor Ecosystemat the Foundation of Data Centers 美国半导体行业协会（SIA）与德勤（Deloitte）联合报告2026年6月 目录 执行摘要 一、AI核心处的众多芯片 推动AI进步的芯片创新半导体AI芯片分类 二、拆解AI硬件栈：AI数据中心服务器中的芯片 计算托盘加速器互连托盘电源托盘网络与智能平台管理接口（IPMI）托盘冷却液分配单元（CDU）托盘 三、芯片如何协同执行AI训练工作流 四、AI增长曲线：市场视角五、巨额支出：半导体内容价值分析六、从设计到数据中心：了解AI数据中心的全球供应链七、AI基础设施的新兴前沿八、结论作者简介术语表参考文献 执行摘要 半导体是人工智能（AI）的基础，这项技术正在改变我们的经济和社会，使整个产业更具生产力和创新性，并推动重大科学突破。当今的AI系统建立在半导体生态系统数十年创新的基础之上。随着芯片技术的不断进步，AI将变得更有能力、更节能、更具成本效益。更强大的AI反过来将有助于改进芯片设计、优化半导体制造，并推动对支撑AI的广泛芯片类别的更多需求。 关键要点： 1.半导体是AI的基础使能技术。芯片为现代AI系统提供了基础硬件层，在现代AI服务器总价值中占据重要份额： 单个AI服务器机架包含超过4,500颗封装芯片，由约20,000个独立晶粒（即独特的集成电路）组成。半导体占领先AI服务器机架内容价值的95%以上，以及建设和运营AI数据中心所需总资本支出的50%以上。 2. AI需要全方位的半导体技术。要运行复杂的AI训练和推理工作负载，当今的AI数据中心需要大量的计算、存储和内存带宽、电力分配和网络能力——所有这些都由全套芯片技术提供。这些芯片技术中的每一项对于推动美国的AI建设都至关重要，而这些领域中任何关键依赖都可能阻碍这一建设。AI数据中心中的芯片包括： 先进逻辑芯片，如AI加速器、专用集成电路（ASIC）、现场可编程门阵列（FPGA）、中央处理单元（CPU）、数据处理单元（DPU）和网络芯片。存储芯片，如高带宽存储（HBM）、动态和静态随机存取存储器（DRAM和SRAM）以及非易失性闪存（NAND）。模拟和基础芯片，如电源芯片、收发器、控制器和传感器。 3. AI是整个半导体行业芯片的主要需求驱动力。在一个正反馈循环中，AI的进步推动了对改进的半导体性能和效率的需求，而半导体技术的进步则使更强大、更先进的AI系统成为可能： 为满足全球对新AI应用的需求，政府和行业将在2028年前向新数据中心基础设施投资超过4万亿美元，其中高达2.8万亿美元将用于半导体。部署在AI数据中心的半导体年收入到2028年可能超过1.2万亿美元，四年内增长近十倍。AI数据中心 市场正 经历前 所未有 的增长，预计2022年至2028年的复合 年增长率（CAGR）为88.8%。虽然最初的势头由生成式AI的快速采用推动，但持续的需求保持强劲，预计2025年至2028年的CAGR为56.3%。 整个半导体供应链使AI基础设施的建设成为可能。没有半导体，就没有AI。要在这项变革性技术中保持领先，政府和行业必须共同努力推进政策，加速全谱芯片技术的增长和创新，并与全球合作伙伴密切合作，建立强大和有弹性的供应链。 一、AI核心处的众多芯片 人工智能（AI）近年来经历了爆炸性增长，吸引了大量关注于那些训练和部署AI模型的人和组织。各种各样的半导体作为AI硬件栈的支柱和使能技术，芯片技术的进步推动了AI应用在处理能力、计算效率和整体性能方面的提升。半导体支撑着嵌入日常数字体验中的AI系统。 本报告通过拆解最先进的AI数据中心服务器——现代AI基础设施的基础单元——提供了关于构成AI基础设施核心的多种芯片的独特由内而外的视角。与传统停留在系统级性能或市场规模分析的报告不同，本报告深入探讨服务器每个子系统内部的半导体内容本身——映射出驱动当今数据中心的芯片、晶粒和支持组件。 我们进一步通过聚焦这些服务器系统中价值集中的位置以及哪些技术至关重要来补充这一分析，从基于领先工艺节点的尖端逻辑到成熟节点组件——如电源管理集成电路（PMIC）、电可擦可编程只读存储器（EEPROM）、化合物半导体和微控制器——所有这些都是AI系统和基础设施功能不可或缺的。 推动AI进步的芯片创新 尽管AI看似是现代发展，但其基础贯穿数十年的先进计算能力发展。早期的AI系统在大型机和通用CPU上运行，计算成本高昂、速度慢且耗电量大，将AI限制在学术和国防实验室。随后由于训练方面的限制，AI经历了多次寒冬。 随着微处理器性能的提升和内存成本的降低，AI研究进入了更实用的应用领域，如语音识别和决策树。高性能计算（HPC）集群开始支持大规模并行计算，GPU迅速取代CPU成为训练工作负载的主力处理器。ResNet等突破性模型推动了对定制AI加速器的需求。2012年AlexNet在GPU上的训练标志着现代AI的黎明，ushering in an era of massive training，推动了对定制AI加速器的需求。 2022年生成式AI中大语言模型（LLM）的出现推动了对更专门的AI加速硬件的需求，通常与高带宽存储（HBM）配对。如今的AI基础设施要求前所未有的复杂性，AI训练运行需要数以万计的AI加速器，通常与HBM共同封装并通过光互连连接。2.5D/3D封装、芯粒和液冷方面的创新正在重塑数据中心架构。瓶颈已从纯计算转向热能管理、内存带宽和互连速度。 在过去几年中，逻辑、存储、网络、电源和冷却技术的规模和复杂性的持续改进为高性能AI系统的广泛部署铺平了道路。这些进步催生了AI数据中心的兴起。 虽然传统数据中心已经存在数十年，用于管理企业IT运营、网站托管和存储，但现代AI数据中心代表的不仅仅是增量演变，而是一种根本性的能力专业化。每个AI数据中心服务器机架都集成了一组由先进半导体器件组成的复杂组件，旨在支持并行化、数据邻近性和可扩展性。单个AI服务 器机架由约20,000个独立半导体晶粒组成，整合为超过4,500颗封装芯片。这些包括提供高吞吐量计算的逻辑处理器、超低延迟存储子系统、电源管理单元和网络组件。 AI数据中心中的芯片数量 AI数据中心中的每个服务器机架包含超过4,500颗芯片，而这些芯片又由约20,000个独立半导体晶粒组成。一个领先的数据中心可以容纳超过45,000,000颗芯片。 注：假设领先的AI数据中心拥有10,000个AI计算机架 随着 各行 业组织竞相 部署AI驱动的解决方案，对AI数据中心容 量以及先进半导体的需求skyrocketed。这种需求激增的影响贯穿整个半导体价值链。芯片设计师面临着缩短创新周期的压力，更频繁地发布新一代尖端器件。与此同时，晶圆代工厂必须交付重大的制造技术升级，以实现AI工作负载所要求的性能飞跃。这些工作负载正在推动前几代硬件的极限，暴露了架构优化、散热和数据在庞大系统中的移动等关键问题。作为回应，芯片制造商正在共同设计硬件和软件，并追求更紧密的内存和计算集成，从而推动了实现高密度、高带宽配置的创新封装技术的发展。 半导体需求增长循环 这是半导体与AI之间自我强化的创新循环：半导体技术和AI系统的进步使开发者生态系统日益成熟，而这反过来又要求日益强大的AI系统和半导体技术。随着开发者生态系统成熟度的提高，AI模型规模扩大，需要更多数据、更快的处理、系统间更紧密的协调以及更多计算，将现有芯片所能支持的能力推向极限。这导致了向高度专业化半导体设计的转变，包括更高效、更高性能的处理器、更专业化的存储堆栈以及能够支持整个数据中心分布式AI工作负载的高速互连。事实上，半导体设计师和制造商正越来越多地利用AI方法来推进下一代产品。 AI工作负载：训练与推理 在整个报告中，我们经常提到两个主要的AI工作负载——即训练和推理，它们代表AI计算的不同阶段，并决定了芯片的设计方式： 训练是通过将模型暴露于非常大的数据集来教导模型的过程。例如，要构建一个猫识别模型，神经网络可能会被展示数千张猫和非猫的图像。通过反复exposure，模型学习识别模式，如耳朵、胡须或体型，这些特征将猫与其他物体区分开来。推理是将训练好的模型应用于新的、未见过的数据。继续猫的例子，一旦模型训练完成，它就可以生成一张新猫的图片。 简而言之，训练是模型学习的方式，而推理是它将所学应用于现实世界情境（如生成对查询的响应、做出预测或识别模式）的方式。 半导体AI芯片分类 AI服务器机架依赖多种协同工作的半导体技术，每种技术都量身定制以满足现代AI工作负载的苛刻要求。 图3半导体类型——通过计算、存储、连接为AI数据中心提供动力 集成电路（IC）——在单个封装中集成多种功能的单晶粒或多晶粒芯片： 数字芯片：执行计算、控制和内存处理以管理二进制工作负载逻辑芯片：处理数据，为AI和云工作负载提供计算处理器：按顺序执行任务（CPU）；控制AI数据中心中的系统编排和工作负载处理加速器：并行运行许多操作，针对AI工作负载（如训练和推理）进行优化网络芯片：跨服务器移动数据，实现低延迟AI模型访问存储/存储器：存储、检索和处理用于训练和推理的数据DRAM：为AI训练提供快速、易失性存储HBM：通过提供快速、高带宽内存访问来加速AI工作负载NAND：提供非易失性存储，实现快速AI数据集和数据集读取SRAM：用作CPU和AI加速器中的缓存和缓冲区，实现低延迟数据访问信号与接口：管理用于转换和接口的信号串行/并行转换器：将模拟信号转换为数字数据（反之versa），实现传感器输入控制 ADC/DAC转换器：调节电压和电源以支持系统运行 模拟芯片：调节电源、管理热量、转换信号以支持数字基础设施 电源芯片：执行多种电源相关功能，包括控制开关、整流和多级电压调节、排序、监控和保护时钟/缓冲器/振荡器：为AI数据中心中的芯片提供精确时序和同步光电芯片：将电信号转换为光信号（反之versa），用于通信、传感和显示 分立器件：执行单一功能的独立组件 处理电源的单功能设备，如晶体管传感器和换能器：检测和转换信号以进行系统监控，包括温度/湿度、电气（电流分流）等环境传感器 注： 1.信号中的某些芯片将包含混合信号，即模拟和数字属性2.示例并非详尽无遗，而是指示性的，由于AI半导体的复杂性质，多晶粒芯片封装包含来自不同分类的元素3.在本报告中，网络芯片被归类为逻辑芯片4.分立器件包括模拟和数字半导体，但该类别以模拟功能为主。纯数字分立器件已过时且罕见，因为数字逻辑通常集成到IC中以提高效率 每个服务器内部都有许多专用芯片，包括执行运行复杂AI训练和推理模型所需的并行处理的AI加速器。这些芯片同时执行数十亿次操作以高效处理大量信息。 支撑这一计算层，存储半导体对性能至关重要，实现快速可靠的数据访问。随着AI模型规模扩大，系统数据量急剧上升。高性能存储有助于确保处理器不断加载数据，避免瓶颈并保持系统响应性。在AI任务日益成为下一代AI系统设计的核心之际，存储和逻辑的专门化也在推进。 众多电源和网络半导体使AI服务器内和跨系统的高效能量传输和无缝互连成为可能。AI服务器同时使用许多芯片，每个芯片与其余芯片紧密协调，使电源、数据和计算资源的快速可靠管理成为必要。与此同时，分布式AI工作负载依赖于节点之间的快速、低延迟通信，使网络半导体对于协调互连服务器组中的计算至关重要。 二、拆解AI硬件栈：AI数据中心服务器中的芯片 如以下章节所述，拆解AI服务器机架硬件揭示了一个高度模块化、垂直集成的系统。它由服务器内每个子系统中的数万个相互依赖的半导体组件组成，从CPU和加速器到信号调理芯片、电源稳压器、存储晶粒和控制逻辑。 图5AI数据中心服务器拆解示意 AI数据中心服务器机架由多种服务器类型组成——通常称为"托盘"——每种都设计用于执行不同且关键的功能。机架架构和单个托盘配置都