国内AI服务器专家交流纪要

这类卡，在推 理应用场景中的需求量至少有 10 万片以上。尤其是随着各种应用场景落地和大量小模型的部署，这些卡的需求量会进一步上升。目前，对于可销售的 A40、A10，包括 L20，甚至 H20 等卡片，已经有较高的需求，我们已经从用户那里 收集到了一些订单需求。Q：现在英伟达的训练卡和推理卡的供应情况是怎样的？24 年的市场形势预测 是什么？ 练方面的性能出色，主要用于推理工作。另一方面，L20 的显存则是 H20 的一 半，而内存传输速率下降了三到四倍。就 2024 年而言，如果技术和政策环境保 持稳定，预计 H20、L20 等卡片能够正常交付，满足市场需求。但是，在 AI 追 赶的竞争中，国内产品与最新的NVD 产品的性能差距将越来越大，这可能会导 致国内需要更多的设备来赶上国际的训练和推理服务速度。具体到数量，很难估 计。Q：英伟达的显卡目前国内的价格是怎样的？生成（神农）卡的交付量及价格状 况如何？ A：H100P3E 卡在国内的价格大约为 245，000 元，L20 约为 75，000 元，H20 接近 140，000 元。此外，RTX 的 4090 卡在春节后价格上涨，目前为 20，000 元。对于生成（神农）卡，以八卡整机的形式，价格大约在 150 万左右。神农卡去 年的交货量大约 为 150，000 片，2024 年可能会提升到 20 到 25 万片。这意味 着神农卡的需求量在上升，部分原因可能与国内对于 AI 和深度学习计算需求的 增加有关。Q：可以分析一下国内服务器企业的竞争格局和各自的优劣势吗？ A：国内服务器市场的主要竞争者包括浪潮、新华三、三超聚变、联想、戴尔，以及宁唱（中科曙光旗 下品牌）。浪潮以产品能力和大规模交付能力突出，具备 强大的定制化能力，特别是在互联网和通信运营商市场。浪潮在 GPU 算力服务 器领域占有率曾高达 50%以上，但因技术限制和交付问题，在当前环境下受到 较大影响。三超聚变脱离华为后，失去了华为的整体解决方案优势，竞争力受到 影响。新华三在通用服务器市场占有率大约7%-10%，在AI服务器市场接近 15%。新华三通过大型系统集成商满足中型行业用户，并通过 H3C 和惠普产品维持市 场竞争力。宁唱则是利用中科曙光在高性能计算领域的底蕴维护市场。戴尔的策 略则是通过分销模式触达中小企业客户。Q：能详细介绍一下英伟达的服务器卡产品在中国市场的情况吗？ A：国内能买到的高端英伟达产品主要有 H800 和 H100。H800，一个中国特供 版产 品，因为一些公开招标企业不能取消订单，从海外市场进口了一部分库存，价格在 300 至 310 万人民币。H100 价格略低，在 280 至 290 万人民币。对于 英伟达的 PCIE 产品，A7100 的价格大约是 25 万人民币，按照 8 张卡计算，总 价在 200万人民币左右。而 L40 和 A40 的价格分别在 110 万和 70 万人民币左 右。最新的 L20 目前市场价大约 75 万人民币。H20 目前在中国市场还未销售，但其性能预估会比 L20 高一倍，单卡价格可能是 13 至 14 万人民币，整机预估 价格超过 120 万人民币。Q：浪潮公司 AI 服务器毛利率与通用计算服务器相比有何不同？ A：AI 服务器的毛利率相对于通用计算服务器有显著提升。通用计算服务器多年 来的毛利率维持 在 10%左右，而 AI 服务器至少提升了五个百分点，我们估计 AI 服务器的毛利率应该在16%到 20%以下这个区间，但是肯定高于 15%。Q：所提到的 16%毛利率是否包含了GPU 卡？A：16%的毛利率是不包含 GPU 卡的。我们是基于 GPU 服务器机型与通用计算 服务器 机型在未插入 GPU 卡时进行的对比分析。通用服务器和 AI 服务器在没有 GPU 卡时，毛利存在百分点的差距。Q：客户购买 AI 服务器时，GPU 卡是由客户自行采购吗？ A：不是全部如此。对于非禁售的产品，浪潮等整机厂商主导销售，比如 L20、L2，以及 A1 0 这类卡。而对于禁售的卡如 A800、H800、L40S 等，则需要客 户通过渠道商或集成商自行采购单卡。Q：浪潮服务器的毛利与净利如何可量化？ A：以通用型服务器为例，均价在 65000 到 70000 元左右，OEM 厂商可以赚 到 5000 元左右的毛利。而 AI 服务器，如果不含 GPU 卡，其机身和其他配件较 贵， 以 HGX 整机为例，机身售价在 17 万到 20 万元之间，毛利能达到 3 万到 4 万，大约是通用计算服务器的 6 到 8 倍。Q：销售 GPU 和存储时的策略是什么？是否会在此过程中获利？ A：当帮客户采购了 GPU 和存储等电子料后，OEM 厂商会获得一定利润。利润 通常来自占 用的资金成本和服务费，大约是部件或服务费 3%到 5%的利润。对于核心组件的采购，如 H800 等，价格虽然可能在 300 万左右，但在非禁售情 况下可能 只能以 200 到 210 万的价格销售，整机厂商相应的服务获利就会相对 减少。这就是为什么很多厂商都积极销售自家的 AI 算力服务器，因为即使在相 对较低的占用费用上，也能通过高毛利的硬件销售获得较高的整体利润。Q：互联网大厂的 GPU 卡、CPU、内存和硬盘等关键零部件的采购流程是怎样 的？与 OEM 厂商有何关系？A：互联网大厂通常有自己的特定型号，和上游厂商谈量谈价后，由 OEM 厂商 去竞标，垫资购 入这些核心零部件，然后装到整机再交付。其中，互联网大厂可 以拿到子型号的特殊价格和供给保障。OEM 厂商在这个过程中能赚取的主要是 关键零部件的资金占用成本的费用，一般在一两个百分点。Q：小型厂商的采购模式与大厂有何不同？可以操作的空间有哪些？ A：小型厂商通常只能购买整机，这时 OEM 厂商有更多操作空间。OEM 厂商 可能会根据情 况引导用户，提供不同的 CPU、内存或容量和接口不同的硬盘。小型厂商需要由服务器厂家来采购相关的零部件。Q：目前对于液冷技术的发展趋势如何？哪些厂商在液冷方面走在前列？A：在碳中和的大趋势下，由 于 AI 服务器耗电量大，采用液冷散热方式成为性 价比高的解决方式。浪潮提出了 all-in 液冷战略，已经将旗下几乎所有服务器产 品配备液冷方案，用户可以根据需求选择风扇版或液冷版。液冷技术主要有冷板 式液冷和背板式液冷两种方式。浪潮在液冷方面做得比较好，几乎所有产品都设 计了液冷方案。Q：液冷产品的提供商是由服务器厂商自己提供还是第三方供应？ A：NVIDIA 现在支持液冷，初期它的硬件设计没有包含液冷方案，但现在其硬 件产品已经支 持这一点。在液冷产品供应方面，服务器厂商需对自己的设备重构 和设计，数据中心需要支持从服务器端到机柜端热量液态交换的设施。液冷散热 不再是单纯通过空气，而是需要通过冷却水循环散热。Q：未来如果 H20 可以销售，国内训练用的厂家是更倾向于购买 H20 还是说它 性价比不高，采购欲望不如 H100 或 H800？A：H20 相比原来的 H100 在性能上有所削减，它的性能大约是 H100 的 25 到 30%，这意味着需要更多的设备和网络组网来维持同等的算力，导致整体成本升 高。这会使得需要大规模模型训练的互联网用户至少会考虑其他方案，比如算力 租赁或者购买一些所谓禁售的产品。因此，H20 可能不会受到国内厂家的青睐，它们更倾向于继续采购 H100 和 H800，甚至是英伟达刚发布的最新 GPU 卡。这是因为对国内而言，这些算力卡相当于战略物资。特别是考虑到英伟达新发布 的 B200 芯片性能可能是 H100 的五倍，相比华为和寒武纪的产品，性能优势可 能达到数十倍，甚至 20 倍，所以国内市场对于 B200 的需求可能会更大。Q：相对于升腾 910 等国产化芯片，您怎么看它们在市场上的竞争力？A：目前国内在生产 GPU 的 HBM 高速缓存芯片方面，大概只能做到第二代 H100 所 使用的第五代 HBM 芯片。华为的升腾 910 及其他相关国产芯片主要集中在 推理端，而在训练端包括升腾 910，它们在性能上还是逊色于英伟达的 H100。考虑到这些因素，即使是升腾 910，由于供给限制和生态兼容性问题，其在市场 上的竞争力也有限。大部分国产算力卡不论是生产还是性能，都在推理端占主导 地位，而在训练端则相对较弱。