核心观点与关键数据
NVIDIA 的 Blackwell Ultra GPU 及其配套平台(GB300 NVL72 和 HGX B300)专为 AI 推理时代设计,重点解决预训练、后训练和推理时扩展(长思考或推理)三大维度中的关键挑战。Blackwell Ultra GPU 提供 20 PFLOPS 的 FP4 稀疏推理性能,279 GB HBM3E 内存支持长上下文推理,800 Gbps NVIDIA ConnectX-8 网络实现数据中心无缝扩展,以及 2.5 倍于 Hopper 的注意力引擎性能。
GB300 NVL72 平台整合 72 颗 Blackwell Ultra GPU 和 36 颗 Arm®-based NVIDIA Grace CPU,采用全液冷机架级架构,支持测试时扩展推理任务。通过 NVIDIA Quantum-X800 InfiniBand 或 Spectrum-X™ Ethernet、ConnectX-8 SuperNIC 和 NVIDIA Mission Control 管理,GB300 NVL72 相比 Hopper 架构可将 AI 工厂产出性能提升 50 倍。
HGX B300 平台专为 AI 推理设计,配备 8 颗 Blackwell Ultra GPU、超过 2 TB HBM3E 内存和 1,800 GBps NVLink 互联,提供 7 倍于 Hopper 的 AI 计算能力。HGX B300 相比 Hopper 架构可将 AI 工厂产出性能提升 30 倍,并实现 2.6 倍的更大语言模型训练性能。
技术突破与性能提升
- AI 推理推理:Blackwell Ultra 的 Tensor Cores 提供 2 倍注意力层加速和 1.5 倍 AI 计算浮点运算(FLOPS),结合 1.5 倍更大的 HBM3E 内存,显著提升长上下文推理性能。
- 高容量 HBM3E 架构:更大内存容量支持更大批处理规模和最大吞吐量性能,Blackwell Ultra 相比前代增加 1.5 倍 HBM3E 内存和 AI 计算。
- NVIDIA ConnectX-8 SuperNIC:为每个 GPU 提供 800 Gbps 网络连接,支持 NVIDIA Quantum-X800 InfiniBand 或 Spectrum-X Ethernet,实现顶级远程直接内存访问(RDMA)能力。
- 第五代 NVIDIA NVLink:提供 130 TB/s 低延迟 GPU 通信,释放 AI 推理模型性能。
- NVIDIA Grace CPU:为现代数据中心工作负载设计,提供 2 倍于当前领先服务器处理器的能效比。
- NVIDIA Mission Control:自动化 AI 工厂运营,从跨 72-GPU NVLink 域的工作负载编排到设施集成,提供全栈智能基础设施弹性。
- AI-Ready 企业平台:NVIDIA AI Enterprise 提供 end-to-end 软件平台,包含 NIM 微服务、AI 框架、库和工具,简化 AI 就绪平台构建,加速价值实现。
研究结论
NVIDIA Blackwell Ultra GPU 及其配套平台通过技术创新显著提升 AI 推理和训练性能,支持更大模型和更复杂任务。GB300 NVL72 和 HGX B300 平台大幅提高 AI 工厂产出效率,分别实现 50 倍和 30 倍的性能提升,推动 AI 从实验阶段向生产阶段过渡,赋能企业构建高效、可扩展的 AI 解决方案。