执行摘要
半导体是人工智能(AI)的基础,AI 正在改变我们的经济和社会。AI 系统建立在半导体生态系统数十年的创新之上,芯片技术的进步推动 AI 在处理能力、计算效率和整体性能方面的提升。更强大的 AI 将有助于改进芯片设计、优化半导体制造,并推动对支撑 AI 的广泛芯片类别的更多需求。
关键要点:
- 半导体是 AI 的基础使能技术: 芯片为现代 AI 系统提供了基础硬件层,在现代 AI 服务器总价值中占据重要份额。单个 AI 服务器机架包含超过 4,500 颗封装芯片,由约 20,000 个独立晶粒组成。半导体占领先 AI 服务器机架内容价值的 95% 以上,以及建设和运营 AI 数据中心所需总资本支出的 50% 以上。
- AI 需要全方位的半导体技术: 要运行复杂的 AI 训练和推理工作负载,当今的 AI 数据中心需要大量的计算、存储和内存带宽、电力分配和网络能力——所有这些都由全套芯片技术提供。AI 数据中心中的芯片包括:先进逻辑芯片(如 AI 加速器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、中央处理单元(CPU)、数据处理单元(DPU)和网络芯片。存储芯片(如高带宽存储(HBM)、动态和静态随机存取存储器(DRAM 和 SRAM)以及非易失性闪存(NAND)。模拟和基础芯片(如电源芯片、收发器、控制器和传感器)。
- AI 是整个半导体行业芯片的主要需求驱动力: AI 的进步推动了对改进的半导体性能和效率的需求,而半导体技术的进步则使更强大、更先进的 AI 系统成为可能。为满足全球对新 AI 应用的需求,政府和行业将在 2028 年前向新数据中心基础设施投资超过 4 万亿美元,其中高达 2.8 万亿美元将用于半导体。部署在 AI 数据中心的半导体年收入到 2028 年可能超过 1.2 万亿美元,四年内增长近十倍。AI 数据中心市场正经历前所未有的增长,预计 2022 年至 2028 年的复合年增长率(CAGR)为 88.8%。虽然最初的势头由生成式 AI 的快速采用推动,但持续的需求保持强劲,预计 2025 年至 2028 年的 CAGR 为 56.3%。
AI 工作负载: 训练是通过将模型暴露于非常大的数据集来教导模型的过程。推理是将训练好的模型应用于新的、未见过的数据。简而言之,训练是模型学习的方式,而推理是它将所学应用于现实世界情境(如生成对查询的响应、做出预测或识别模式)的方式。
AI 数据中心服务器拆解: AI 数据中心服务器机架由五种类型的托盘组成:计算托盘、电源托盘、网络与智能平台管理接口(IPMI)托盘、AI 加速器互连托盘和冷却液分配单元(CDU)托盘。每个托盘容纳具有关键作用的不同半导体组件。
芯片如何协同执行 AI 训练工作流: 大规模训练 AI 模型需要一个紧密协调的专用芯片系统,每个芯片都针对工作流中的特定角色进行优化。CPU、AI 加速器、高带宽存储器(HBM)、非易失性存储器和光互连协同工作以管理并行工作负载、跨节点同步计算,并最终提供一个完全训练好的模型,准备部署。
AI 增长曲线: AI 应用正在快速增长,推动了对为这些工作负载提供支持的数据中心所使用的半导体的更大需求。部署在 AI 数据中心的半导体收入预计到 2028 年将达到超过 1.2 万亿美元,五年内增长近十倍。数据中心逻辑芯片(主要是 AI 加速器)的市场在 2022 年约为 300 亿美元,2024 年扩大到 700 亿美元,WSTS 预计到 2026 年将达到 1900 亿美元。
巨额支出: 为满足全球 AI 需求,预计在 2023 年至 2030 年的八年内,将累计投资 4.0 万亿美元用于建设 AI 数据中心,其中预计高达 2.8 万亿美元将用于 AI 服务器设置的半导体和其他硬件。在典型的 AI 数据中心中,大部分资本支出位于计算基础设施,占 AI 数据中心总资本支出的 50% 以上。
AI 数据中心的全球供应链: AI 服务器不是即插即用的。它们必须插入预先配置的电源域,匹配最小化延迟的网络拓扑,并连接到确保吞吐量的分布式存储集群。设施运营商、云超大规模云服务商和基础设施提供商都在这一部署编排中发挥作用,并经常与半导体提供商密切合作以确保满足计算性能要求。
AI 基础设施的新兴前沿: 边缘需求的影响:推理需求正在从集中式数据中心转向结合云、边缘和设备上计算的混合模型。工艺技术演进:半导体在密度和效率方面继续进步,但原始晶体管扩展的速度正在放缓。架构与封装转变:另一个重大转变是向领域特定架构的迁移,该架构紧密集成了高性能逻辑、存储器和互连。存储与数据移动:HBM 和下一代 DRAM 的持续创新至关重要。硬件-软件协同设计:另一个关键趋势是跨硬件和软件栈的日益集成和优化,为 AI 工作负载驱动更高的效率。能源与可持续发展要务:随着 AI 基础设施的能源需求增加,能效和可持续发展将成为更紧迫的问题,推动对节能芯片设计、动态工作负载分配和智能冷却系统的更大投资。
结论: 随着 AI 继续扩展,维持有竞争力的半导体创新系统的能力将是 AI 持续进步的基础。整个半导体供应链,涉及美国半导体设计、制造和制造设备公司,使 AI 基础设施的建设成为可能。简而言之,没有半导体,就没有 AI。