服务器专家交流

A： 预计英伟达在全球的 AI 训练卡出货量大约是 440 万张，这主要以 H100 型号 为主，预计 有 330 万张；B100 型号预计有 35 万张；A100 型号大约 20 万张；A100 的量很小，属 于产品 末期； H20 的单卡性能比国产卡性能差很多，但是多卡集群的效率是更高的，对于比较开 放 的互联网客户来说会大批量的采购 H20，目前 30 万张卡是用户互联网公司，后面还是有 追加的可能性。Q： H100， B100， H200 这三种板卡今年的供应情况和定位分别是什么？ A： H100 是今年的主力板卡，B100 和 H200 将在下半年开始小批量供应。B10 0 和 H200 是英 伟达的下一代高端训练板卡，服务于互联网公司，特别是北美地区的公司，B100 属于高 端 训练卡，H200 则定位于中低端训练卡。Q： A100 板卡今年的出货量和生产预期是怎样的？ A： A100 板卡今年的出货量很小，被视为产品末期。预计在 A 型号售罄后，A100 将 于明 年停产。Q： 国产 H20 板卡目前的使用情况怎样？ A： H20 板卡的主要客户群体是国内的云厂商和大型运营商，尽管中小企业也有一些使用，但 量不大。尽管 H20 板卡的性能存在不足，但从今年开始，云厂商对 H20 板卡的接受度正在恢复。这是因为即便 H20 的单卡性能不如国产卡，但在大规模数据集群中，其整体效率 相 对较高。很多开放型互联网客户仍倾向于大量采购 H20 板卡。今年，近 40 万张 H20板 卡中，大约有 30 万张被用于和互联网公司的合作。尽管存在竞争，英伟达的产品仍然在生 态 和算力方面持有优势，存在增长潜力。Q： 目前 2024 年国产 AI 训练卡的市场情况如何？ A： 随着美国对中国的 A100、A800、H800 和 F40 限购政策，去年第四季度， 国内市场基 本看不到英伟达的官方出货。国内客户都开始大量引入国产卡。华为的产品尤为突出，在互 联 网行业存在供不应求的情况。国产卡的普及趋势非常好。Q： 对于 2024 年国产 AI 训练卡的总体展望如何？ A： 国产 AI 训练卡市场预计在 2024 年及未来几年会迎来快速增长。市场需求旺盛，但 整 体 的供应能力成为关键因素。需关注能否保证稳定供应以满足市场需求。Q： 目前全球加速卡市场的份额情况如何？ A： 目前台积电代工生产 NVIDIA 全线的训练卡，包括 H100、A100、H20、H 200 等，占有 100%的份额。Q： 报告中关于训练卡的出货量数据，是基于 NVIDIA 给台积电的预期，还是其他数据？A ： 报告中的数据是今年整体的出货量预期，其中 H20 可能会有一二十万张的变化，但其 他数量不会有太大变动。Q： 市场对 H100 和 H200 的预期是否与报告中提到的数量有所不同？ A： 是的，市场预期 H100 出货量在 200 万张以上，而 H200 可能是几十万张。 H200 使 用的是H100 的芯片，所以 H100 的总出货量包含了销售给第三方和 NVIDIA 自用的 H 200。Q： H20 的订单数量是否是 NVIDIA 确认的固定数额？A： 是的，40 万张左右是 NVIDIA 向台积电下的订单，主要基于 NVIDIA 在中 国的需求。H20仅限中国市场。 Q： 增加 H20 订单的周期是多久？ A： 如果现在下 H20 加单，需要的周期大约是半年。NVIDIA 需要客户的正式订单后才 会进 行下单。Q： 40 万张是 NVIDIA 确定能够销售的数量吗？ A： 是的，40 万张已经有相对清晰的需求，其中字节跳动约 15 万张，腾讯 10 万张， 阿 里和 百度各约 5 万张，运营商大约 10 万张。Q： 国内智算中心会购买 H20 加速卡吗A： 国内的智能计算中心主要会使用国产的卡，比 如海光和寒武纪的产品，不会购买 H20。Q： 英伟达的 B100 加速卡预计何时开始销售，今年的出货量如何？A： B100 加速卡预计在今年的三季度和四季度开始销售，三季度大约 10 万张，四季度大 约 25万张。Q： 明年对于 B100 加速卡的供应预期如何？ A： 明年 B100 的需求仍然很大，因为 H100 可能会降级成为推理卡，所以明年训练卡 的 主要 产品将会是 B100 和 H200。增长率预计约为 20%，总出货量在 500 万张内。Q： H100 加速卡的 PCIE 与 SXM 版本的分布情况如何？ A： 约 60%是 SXM，而 PCIE 的版本占 40%。 Q： 为什么有些非云厂商会选择 PCIE 版的 H100，尽管它的互联速度低？ A： 非云厂商可能会选择 PCIE 的版本，因为它们可以不完全填充服务器扩展槽，根据自身的需求和预算灵活配置。 Q： 英伟达的 H100 加速卡的交期是什么情况？A： 对于云厂商，交期较短，约 6-8 周；对于非云厂商的临时订单，交期大概在 8-12 周。Q： 目前供应方面的情况如何？ A： 海外供应方面，英伟达没有太大问题。正常的交期大约是两个月，这和以前国内市场在 没有受到限制时的情况相似。Q： B100 的出货量会有很大的变数吗？ A： 今年的变数并不大，35 万张的出货量已经有较为明确的需求，故预计会按照之前提到 的 量级进行。Q： 拆分一下今年 400 万张的训练卡分别是哪些芯片以及各自多少万张？ A： H100 大约 330 万张，A100 约 20 万张，H200 约 20 万张，B 100 约 35 万张，H20 约 40 万张。Q： 服务器市场的份额和供应链情况？ A： 目前 AI 服务器市场约 55%被台系 ODM 厂商占据。超微（smci）约占 15 %。戴尔和 惠普共占约 20%。剩余 10%为其他厂商。 Q： 英伟达拿卡的能力是否影响服务器的市场份额？ A： 服务器的市场份额是跟随下游的需求走的，而不是仅基于英伟达拿卡的能力。 Q： 24 年和 25 年，尤其是 25 年推理卡的数量预期如何？ A： 明年的推理卡预计将达到近 500 万张，增幅明显，与训练卡的比例接近 1：1。Q： 代工加速卡的利润率情况如何？A： A100 加速卡的代工费用大约在 300 美金，H100 在 400 美金左右，而新 型的 B100 和 H200代工费用约为 1000 美金，利润率在 30%左右。Q： 目前市场主要销售的是 L40S 吗？ A： 实际上，今年我们主要销售的是 L40 和 L40S。L40 在今年占到了 350 万 张卡中的近 300万张，L40S 则占到了大概 50 万张。所以，今年我们主要销售的是L40 和 L40S。Q： L40 已卖出 300 万张，L40S 已卖出 50 万张，那这两种产品的单价是多少？ A： L40 一张卡的售价是 5000 美金，而 L40S 一张卡的售价是将近 7000美金。Q： 明年推理的 500 万张卡，能不能拆分一下？ A： 首先，这个数字只是预估值，因为目前我们并未收到确切的数字。目前，我们只能估计 大概的 数量，但无法准确预估型号，因为我们只看到了最新的推力卡 L40 和 L40S。明年 可能会有 400 万张的 H100，如果有新的推理卡出来，那么这个新的推理卡可能会有大概 3 00万张，剩下的 100 万张来做推理。Q： AMD 的卡值多少钱？ A： 如果是 MI 300 的话，价格应该在 15，000-16，000 美金一张。他们的 价格定位肯定要低 于H100 才有竞争力。 Q： AMD 的 MI 300 和 H100 相比，性能如何？ A： 即使 AMD 自称 MI 300 对标 H100，并拥有更好的性能，但是从客户的反馈 来看，MI 300的性能实际上要差很多。Q： 如果供应商调整将会获得多少份额？ A： 根据英伟达以前的操作经验，第一年的份额可能不会很高，大概只有 10%-15%。Q： H100 如果用于推理，价格会下降吗？A： 尽管有可能下调 H100 的价格，但预计降幅不会太大，目前市场价大约在 21，000 到 23，000美金之间，未来可能会稳定在 20，000 美金左右。由于整个工艺成本比较高，不会有大幅 度的降价。 Q： UBB 的 PCB 板的供应份额是如何的？A： UBB 的 PCB 目前主要由新兴电子生产，大约占 70%份额，另外 30%由 TT M 供应。目 前没有固定的份额安排，主要是台资和美资的 PCB 供应商。 Q： B100 的份额是如何分配的？ A： B100 的供应商目前还在选定中，联能和新兴电子是目前的主要候选者。供应商确定 后， 我们可以开始采购相应的零部件。预计 4 月份能够确定供应商。Q： 苹果的 AI 服务器情况能否介绍一下？ A： 苹果大约三年前开始规划自己的 AI 服务器，因为之前他们整个服务是放在 Meta 和 Google 云上面。从 2023 年到 2024 年，苹果开始启动自己的 AI 服务。预计从 2024 年 到 2026 年，他们的采购量在 6 万到 7 万台之间。2024 年预计采购两万台，含 12，000 台 推理服务器，即 L40 推理服务器，以及 8，000 台全部使用 H200 的训练服务器。他们 的主要 应用是自家的服务，例如苹果 cloud，做客户行为分析和推荐算法等。未来 3 年在 AI 服 务 器的投资比较大。 Q： 苹果的 6 万台服务器和国内云厂的数量比如何？供应商的份额怎么分配？A： 苹果的 6 万台确实是一个大量，三年中的净增推理服务器大约在 17000 到 180 00 台。对 比国内云厂商，苹果是全局控制其服务生态系统，处理巨量数据，进行客户分类和产品推荐 等。不同于国内以硬件平台出租为主的云厂商，苹果是需要用于大量算法和数学模型训练的，因此量大。对硬件的需求不同。 Q： 苹果的价格比云服务公司的价格怎么样？A： 苹果的价格相对较低。H100 的训练服务器价格在 20 万美金左右，低于一般的 AI 服 务器代工的价格。 Q： 它的利润率怎样？A： 利润率还不错，毛利率是在 5%，净利率大约在 3.5% 到 4%。 Q： 一季度业绩如何？ A： 一季度，AI 服务器出货量大约有 4.2 万台，其中 1.5 万台是训练服务器，其余 是推理 服务器。在通用服务器方面，一季度出货了将近 50 万台，平均价格在 1 万美金左右。Q： 今 年整体的推理服务器占比能达到多少？A： 今年的推理服务器占比预计能达到 60%。Q： GH200 架构里面服务器 P5 后面插的是多少级的光模块？ A： 单台 GH200 服务器后面会有一个 800G 的光模块，但如果是建成 GH200集群的话，那么整个后面将近会有 256 个模块。B100 的模块后面的光模块速率基本是在 800G。如果 是 H100的话也是配 800G。B100 从明年开始可能会升级至 1.6T 的光模块。Q： GH200 是一个服务器，内部有一个加速卡，对吧？ A： 对，有一个加速卡和一个 CPU。Q： B100 的服务器如果配 1.6T 光模块是 4 个，800G 光模块是 8 个吗？A： 是的，这是正确的配置。Q： 苹果 AI 服务器 H100 都是我们做的，L40 我们不做，那是广达做的对吗？A： 对，L40 和 L40S 的卡本身是广达在做的，即英伟达的训练卡我们做成模块，推理卡我 们没有做，是广达在做。Q： B100 后面除了 1.6T 光模块以外还有其他提升吗？A： 没有太多其他要求，主要是光模块的速率提升，预计 B100 兴起以后基本上都会使用 1.6T光模块。Q： 普通服务器今天有复苏吗？会有增长吗？A： 没有复苏，增长基本停滞，只是下降的速度变缓了，去年整个市场是下滑