AI服务器专家20240610

关键词 全文摘要 随着AI服务器市场需求持续上升，主要驱动因素包括四大云服务提供商。尽管预计在第三季度末会出现 增速放缓的现象，但这并不妨碍整个AI服务器市场的增长，因为训练服务器将逐渐转变为推理服务器。英伟达的GB200架构服务器因其强大功能和高效性能备受关注，并开始供货，预计将推动市场发展。英 伟达训练卡出货量预计增加，反映出对高性能AI处理能力的持续需求。英伟达计划明年出货量达 到600万张，其中B卡占比将达到400万张。英伟达提供了多种GPU卡以满足不同需求，如B100、B200及GB200，每种都有其特点和市场定位。公司还提供定制化服务，包括服务器架构授 权，以满足云服务提供商等客户的特定需求。GB200架构下的服务器成本大约在4万至5万美金之间，包 括散热、电源和连接器等组件。英伟达的产品线涵盖了标准化和定制化两种模式，主要供应商包括台 达、泰科等。代工厂商在面对定制化和标准化需求时，盈利能力存在差异，但整体利润相近。惠普、戴 尔和美超微等公司在服务器市场占据重要位置，各自有着不同的市场策略和竞争优势。英伟达主导液冷 技术的研发，与此同时，竞争对手也在探索不同的散热解决方案以提高成本效益。此次讨论重点关注了 定制化服务器的生产与销售策略，以及市场需求变化对产品订单的影响。 章节速览 ● 00：00 AI服务器市场需求与技术发展动态当前AI服务器的整体需求持续上升，主要受到四大云厂商推动。随着这些厂商的数学模型训练接近尾 声，预计AI服务器，尤其是用于生成式训练的服务器在第三季度末将显现增速放缓的趋势。然而，这一 减速并不影响AI服务器市场的总体增长，因为将有训练服务器转向推理服务器。英伟达推出的新架构服 务器GB200受到市场高度关注，并且已经开始供货，预计将推动未来AI服务器市场的发展。此外，英伟 达的训练卡出货量预计在未来会显著增加，反映了市场对高效能AI处理能力的持续需求。 ● 05：38 英伟达GPU需求预测与市场趋势分析 是NVL36和NVL72型号的高需求. 这得益于GB200的强大集成能力和高效性能， 特别是在大规模数据训练 和推理任务中. 英伟达通过提供灵活的解决方案来满足不同市场和客户的需求， 并成功地巩固了其在AI服 务器市场的领导地位. ● 11：29 英伟达GPU卡出货量及市场趋势分析英伟达预期今年训练卡出货量将达到460万张，较年初增加约30-40万张。主要增长来自A200与B200型 卡。H200因HM发 布而受到云厂商青睐，预计将售出近150万张。同时，B200需求上升导致B100产能减 少，但总体B卡销售量将超过80万张。H20在国内市场保持一定吸引力，预计全年订单量达50-55万张。明年英伟达目标出货量为600万张，其中B卡占比将达到400万张，H200与H100分别为100万与30万张。 ● 19：22 GPU卡及服务器定制化讨论讨论涉及多款GPU卡的市场报价与性能差异，特别是B100、B200及GB200的预期售价和特点。同时探讨 了英伟达提供的定制化服务，包括对云厂商开放的服务器架构授权，及其与直接向英伟达购买完整服务 器之间的区别。重点分析了英伟达提供的硬件组件（如GPU卡、计算机树和交换三）如何适应不同的客 户需求，尤其是云服务提供商，在进行成本优化时对供应链的调整。 ● 24：54 英伟达GB200架构下的服务器组件价值与供应链分析当前英伟达GB200架构下，服务器中的互联散热、电源及铜缆和连接器等组件价格大致在4万至5万美金 之间，主要供应商包括安菲诺、泰科、莫世等。散热模组方面，主要品牌有Vertex和美版Crete Master，单个模组价格约120美金。电源方面，由台达等供应商提供，采用模块化供电方案，每个模块 约3千美金。随着云厂商的自研需求增加，预计在散热和连接器领域可能引入新的供应商，如工业互联 和双红，以降低成本并满足特定需求。 ● 30：47 详解NVIDIA GPU服务器型号及市场定位NVIDIA推出的不同GP U服务器型号针对不同的市场需求和客户群体。NVL36主要面向中小企业和商业企 业客户，提供较为经济的选项同时也满足基本的训练和推理需求。相比之下，NVL72则更倾向于大型云 厂商和超大型企业客户，它们追求更高的计算性能。此外，讨论还涉及到了电源和散热解决方案的具体 细节，以及GB200主板的应用情况。 ● 37：59 英伟达主导下服务器供应链与定制化需求英伟达作为服务器市场的主要控制者，其GP200产品线涵盖了标准化和定制化两种模式。在定制化方 面，主要由北美和台湾的四大云服务提供商推动，其中广达和工业互联占据了显著市场份额。标准化产 品方面，则由富士康和微创等供应商支持，并通过戴尔、惠普等OEM厂商转售。此外，随着互联网巨头 如谷歌和亚马逊加速自研芯片的研发，尽管短期内难以撼动英伟达的市场地位，长远看可能会增加市场 竞争。 ● 43：37 服务器定制化与标准化：盈利与策略对比代工厂商在面对服务器定制化和标准化需求时，盈利能力虽有显著差异但整体利润相近。云厂商倾向于 自定义服务器以满足特定业务需求并优化成本，而针对特定架构如GB200的变动空间有限，主要在标准 化部件如散热模组和铜缆等方面。 ● 50：17 液冷技术与供应链管理：英伟达与超威的竞争与合作英伟达主导液冷技术的研发，倾向于使用自家技术和供应商。而超威和其他公司则可能寻求不同的散热 解决方案，注重成本效益并追求定制化。供应商的选择不仅关注性能和效率，还考虑到成本和定制化需 求。在供应链管理方面，不同级别的产品（如电源、PCB）需通过相关认证，但不一定需要经过所有大 厂的认证。此外， 英伟达的合作伙伴台达和光宝占据了液冷配件市场的主要份额，表明市场竞争格局较 为集中。 ● 59：34 定制化AF7生产流程与市场策略讨论本次讨论涉及定制化AF7产品的生产和销售策略，强调了戴尔与工业互联的合作模式及其面临的挑战。 戴尔负责设计，工业互联负责代工，但因戴尔在AFE市场的份额较小且客户较为固定，其利润率较低，估计在10%到15%之间。此外，讨论还提到了NVL36的定价策略以及产能问题，指出美超微凭借强大 的研发能力和快速的交付周期，在竞争中占据有利地位。最后，讨论关注了供应链的灵活性和市场需求变化对产品订单的影响。 ● 01：04：54 服务器毛利率与出货量分析惠普的服务器毛利率保持在约20%，而戴尔和美超微的出货量分别为未知和40万台左右。美超微在服务 器市场的份额接近25%，在工业互联领域，定制化服务器的毛利率介于7%到8%，而非定制化服务器毛利 率为30%。 问答回顾 发言人 问：请问您如何看待今年年初以来AFG下游的景气度，以及英伟达新架构服务器（如H200、B系 列和GB200）在下游客户中的受欢迎程度？ 发言人答：目前来看，通用AI服务器的整体需求量一直呈上升趋势，特别是在第一季度至第三季度期 间。尽管四大云厂商如亚马逊、Google等仍以传统服务器为主，但随着数学模型训练进入尾声，预 计AI服务器，尤其是用于生成式训练的服务器，将在第三季度末前继续保持增长态势。 发言人 问：从第四季度开始，AI服务器市场会出现怎样的结构性变化？ 发言人 答：从第四季度开始，由于四大云厂商的数据模型训练结束，AI服务器的增速将放缓，训练服务 器将转向推理服务器。但整体AI服务器市场的趋势并未放缓，而是会经历一个结构上的转变。发言人 问：英伟达在第三季度推出了GB200，并且在市场上获得了很高的关注度。您能否介绍一 下GB200的市场表现及其前景？ 发言人 答：GB200受到了云厂商和非云厂商的高度关注，尤其在10月份开始供应后，销量良好。尽管初 期供应量不大，预计明年全球市场，尤其是海外市场，GB200的采购量将达到约5万台，其中英伟达自 家品牌的采购量约为4万台，而四大云厂商还将定制并购买额外约1万台到1.5万台GB200，主要用于机器 学习任务。 发言人 问：英伟达的B200训练卡对市场需求有何影响？中小型企业为何更倾向于采用NVL36？发言人 答：B200因其强大的集成性、良好的性能以及较高的性价比受到中小型企业客户的青睐，可以 同时作为训练和推理服务器使用，从而节省投资成本。此外，相较于B100，B200在推理性能上有显著 提升，可以满足企业在处理大量数据时高效推理的需求。 发言人 问：下半年主要新增的两种GPU卡是什么？ 发言人 答：下半年主要增加了两种类型的GPU卡，一种是A200，另一种是B200。由于H200相比H100性 能更强且更适合云计算环境的需求，许多云厂商已开始转向使用H200替换H 100。 发言人 问：下半年H100和H200的实际销量情况如何？ 发言人答：下半年H100的销量约为180万张，而H200则起量较快，接近150万张。两者加起来总计 约330万张，超过了年初的H100单一卡片总量（310万张）。 发言人 问：下半年B200的销量预测及与B100的关系是怎样的？ 发言人 答：预计下半年B200将售出将近50万张，其中一部分产能原本来自B100，导致B100的实际销量 从预计的60万张降至30万张。总体而言，尽管B200和B100总销量减少，但B200仍实现了增长。 发言人 问：H20在国内市场的表现及订单情况如何？ 发言人 答：H20在国内市场依然有一定的需求，特别是在一些中立型客户如互联网公司等，截至今年年 底，英伟达已接到40万张H20订单，其中35万张来自云厂商，5万张来自运营商。此外，预计云厂商将 在今年底前再下10至15万张H20订单，从而使得全年H20在中国的订单量达到50至55万张。 发言人 问：明年预计的GPU卡市场需求及各型号的具体预测是多少？目前B100、B200和GP200的价格 区间是多少？ 发言人 答：明年预计全球GPU卡需求将达到600万张，其中B卡为主要增长趋势，预计能卖出大约400万 张，其中350万张将是B200型号，而B100预计将卖出50万张。同时，H200也将卖出约100万张，H20则 计划卖出约70万张，H100的销售量预计将缩减至30万张左右。B100的价格预期在36，000到38，000美元 之间，B200的价格预计在42，000到44，000美元之间，两者之间的差价不大，大约相差4万美元。 发言人 问：云厂商设计的GB200卡与原生英伟达GB200卡有何不同之处？ 发言人 答：云厂商设计的GB200卡与原生英伟达GB200卡在架构上没有太大差异，主要包括计算机树和 交换机树等组成部分，但在连接器、铜缆和散热模组等硬件选型上有较大灵活性，以实现更优的成本优 化。 发言人 问：英伟达当前的主要供应商有哪些？ 发言人 答：GB200机柜的整体电源供应形式以整机柜电源供应（Power Shop）为主，每台照片Shop的 功率约为5500瓦。对于整个NVL36来说，大约需要十个电源Shop，因此每个NVL36所需的电源价值约 为3万美金。 发言人 问：未来是否可能出现新的供应商加入GB200供应链？ 发言人答：是的，预计随着云厂商自研的发展，可能会有新的供应商进入供应链。例如，在散热工具 方面，台湾的工业互联和双红由于其在冷板式通用服务器方面的丰富经验和较低价格，有可能会被纳入 定制化后的散热模组供应商名单。同时，由于技术成熟度和成本考量，立讯也有望成为连接器和线缆供 应商之一。然而，在电源领域，由于目前使用的供应商已较为固定，预计不会有新的引入。 发言人 问：GB200标准产品与定制化产品供应商格局有何区别？ 发言人 答：在GB200的标准产品与定制化产品供应商格局中，大部分供应商格局并无太大变化，主要受 英伟达主控的影响。然而，定制化部分以北美和台湾四大云厂商为主导，其中广达和工业互联占据了较 大份额，分别约为30%和40%，主要服务于亚马逊、微软、谷歌和Meta等大型云厂商的定制化需求。 发言人 问：英