会议主题：《NVIDIA Corp GTC Financial Analyst Q&A》主办方：英伟达出席人：Colette M. Kress， NVIDIA Corporation – Executive VP & CFOJensen Huang， Co-Founder， CEO， President & DirectorSimona Jankowski， NVIDIA Corporation – VP of IR【黄仁勋GTC大会总结】1、此次会议谈论到了三个动态，主要涉及可持续发展、生成式AI、数字化。动态1：可持续发展：摩尔定律的发展已经终结，英伟达在过去若干年的时间里，一直落地加速计算的发展。截至目前，英伟达在加速计算领域做到了全栈式布局，从架构、到系统、到软件、到加速库再到对应的应用程序。英伟达加速计算，可以做到横向扩展、向上扩展、向外扩展，产品更具有灵活性。英伟达的加速计算平台也被用到多个领域（粒子物理学、流体动力学，直到机器人学、人工智能等等，计算机图形学、图像处理，视频处理）今天，所有这些类型的领域都消耗了大量的 CPU 内核和大量的电力。我们有机会加速所有这些，降低功耗，降低成本。NVIDIA 的加速计算平台是从云到边缘的。这是每个云中唯一可用的架构。世界上几乎所有的计算机制造商都可以在本地使用它。它可用于推理系统、边缘系统、机器人自动驾驶汽车等等。同时英伟达的加速平台是完全开放的。这意味着您几乎可以从世界上任何地方的任何计算平台。动态2：生成式AI有望引发人工智能的转折点。伴随着生成式AI的发展，我们经历了从世界感知到信息生成，生成式 A 引发了人工智能的转折点，并推动了 A 在全球范围内采用的阶梯式增长。非常重要的是，人们部署在全球所有云和数据中心的推理量的量也在大幅的增加。动态3：数字化有望是人工智能的下一代浪潮。数字化的发展，有望将人工智能带入下一阶段，即下一波 AI 浪潮。在这一阶段中， AI 不仅对数字信息进行操作、生成文本和生成图像。 AI将在运营工厂、实体工厂、自主系统和机器人技术。 在这种特殊情况下，数字化真正有机会使世界上一些最大的行业实现自动化。2、此次会议谈论到了四个要点，主要涉及生成式AI、硬件上市动态、加速库、云服务要点1：生成式AI推动对英伟达加速平台的需求增长。生成式 AI 正在推动对 NVIDIA 平台的需求加速增长。Hopper 设计了一个 transformer 引擎，该引擎专为大型语言模型和人们现在所说的基础模型而设计。随着 Hopper 的推出，Hopper 已经被几乎所有的云服务提供商所采用。要点2：硬件上市动态—新推出DPU BlueField-3，Grace Hopper已投入生产。在AI推理领域新推出四种产品。数据中心并非是一个单纯的计算机，而是一个巨型系统精心编排和运行的计算机群。该计算集群中的操作系统（包括容器化、虚拟化）、网络、存储、安全性等指标均非常重要。这些应用程序的隔离和未来的机密计算是在软件定义层中运行，该软件层消耗大量 CPU 内核。新推出DPU BlueField-3。英伟达新推出的BlueField可实现“卸载、加速现代软件定义数据中心的操作系统”等功能，若干合作伙伴和云数据中心厂商正在采用BlueField产品。Grace Hopper已投入生产，并进行抽样测试阶段。该产品主要用于主要的推理工作负载之一、矢量数据库、数据处理、推荐系统。人工智能推理系统是世界上最有价值和最重要的应用程序之一，目前推荐系统正在转向深度学习。Grace Hopper 是专门为此设计的，它让我们有机会在大型数据库的推荐系统中获得 10 倍的加速，目前Grace已投入生产，并进行抽样测试阶段。Grace 专为无法加速的云数据中心中的其余工作负载而设计。 一旦你加速了一切，剩下的就是真正想要拥有非常强大的单线程性能的软件。 而单线程性能正是 Grace 的设计目标。 我们还将 Grace 设计为不仅是快速计算机的 CPU，而且是非常非常节能的云数据中心的 CPU。 当你把整个数据中心看成一台电脑时，当数据中心就是电脑时，那么你在加速数据中心、AI-first、cloud-first 数据中心的背景下设计 CPU 的方式，那个CPU 设计就是 完全不同。新推出4个推理平台（L4、L40 、H100 NVL和Grace-Hopper），针对各种快速兴起的生成式 AI 应用程序进行了优化。数据中心对于AI推理的加速诉求较强，但是该领域中的诉求是多模态的，AI推理的工作负载类型较多（有时，您想进行推理，将推理和 AI 引入视频，然后使用生成 AI 对其进行增强。 有时，它是图像，产生美丽的图像并帮助成为共同创造者。 有时，您正在生成文本，非常长的文本）。这些应用程序中的每一个，视频、图像、文本，当然还有矢量数据库，它们都有不同的特征，这给数据中心的建设带来了挑战。因为下游客户需要每一种模式或每一种不同的生成 AI 工作负载配备专门的加速器。同时，数据中心的服务和租户也是在不断变化的。针对上述挑战，英伟达采取了基于一个架构四个配置的策略（L4、L40 、H100 NVL和Grace-Hopper），能够最大力度加速各种工作负载。目前公司在此领域，正在加大与谷歌的合作。要点3：加速库—2023年优化并发布100个库、100个模型，cuLitho加速库是今年重要看点如果你加速工作负载，你必须重新设计应用程序，必须完全重构算法，将算法编码到加速库中。在建立每一个加速库的过程中，我们都需要了解此领域中的动态和进展，并与产业链的合作伙伴合作，创建加速库，并将他们链接到具体的应用程序生态系统，并推动和加速该领域的发展。对于英伟达来讲，客户购买了英伟达的系统，可以在未来几年内享受加速服务。在同一平台上，在您安装它之后，在其整个生命周期内将性能提高 4到10倍。2023年，英伟达优化并发布了100 个库和 100 个模型。在此次大会上，我们推出了cuLitho加速库，用于半导体光刻工艺的图案和掩模的创建。过去4年时间里，我们将cuLitho加速库的速度提高了约50倍。依托该加速库，一方面可以降低芯片设计中的计算时间&流水线时间和吞吐时间（如果将开发周期减少10%，对世界的价值很大），另一方面可以大幅降低电力成本的（未来有机会降低5-10倍）要点4：云服务—历史上商业模式最大的一次扩张云服务使得消费者有机会通过Web浏览器加速或者及时的使用计算平台。在过去10年时间里，云服务的能力在不断进步，从最开始只有CPU、运行Hadoop或者MapReduce或者做查询，到现在有高性能计算，科学计算 系统，云中的 AI 超级计算机。 因此，我们将与世界上所有的云服务提供商合作。 从Orical开始，我们还宣布了与Azure和GCP的云合作伙伴关系。 我们将与世界领先的云服务提供商合作，在云端实施、安装和托管NVIDIA AI、NVIDIA Omniverse 和 NVIDIA DGX Cloud。 这样做，可以使得消费者能够获得 NVIDIA AI 和 NVIDIA Omniverse 的完全优化的多云堆栈，而且有机会在云端享受最优化的配置，以最佳形式获得 NVIDIA 软件堆栈的所有优势。 对于那些工作量非常大并且希望从加速中受益的公司来说，最先进的人工智能的好处我们现在有一个直接的服务，我们可以在其中参与世界各行业。 这是我们将 NVIDIA 带来的最好的东西和所有 CSP 的最好的东西结合起来的绝妙方式。 他们为云安全、存储安全以及他们提供的所有其他API 服务提供了令人难以置信的服务，而且他们很可能已经成为您选择的云。宣布了平台及服务（NVIDIA AI，NVIDIA Omniverse）、技术设施及服务（NVIDIA DGX Cloud）产品，拓展了公司的商业模式。如果一个企业的客户，如果一个行业想要访问基础模型，最明显和最容易获得的是与世界领先的服务提供商合作，如 OpenAI 或微软和谷歌。 这些都是旨在为许多行业提供高可用性、高度灵活性和实用性的 AI 模型示例。有些公司希望构建专门基于其数据的自定义模型，而 NVIDIA 拥有实现这一目标的所有能力。 因此，对于希望基于其专有数据构建定制模型的客户，以其特定方式进行训练、开发和推理； 无论是他们想要放置、实施的护栏，还是他们想要执行的指令类型、调整。DGX 云在世界上所有主要的 CSP 中运行。 因此，如果您已经有了自己选择的 CSP，英伟达能够在其中托管它。【分析师Q&A】Q1：鉴于您所谈到的推荐系统的重要性、LLM 的增长以及您与 Google 的合作，市场似乎正在朝着您的方向发展。 我们应该如何考虑你在 3 到5 年后的推理机会，我们应该如何看待 Grace 在未来几年在那里扮演的角色？3 到 5 年后，我们今天正在建造的 AI 超级计算机，毫无疑问是当今世界制造的最先进的计算机。 当然，它的规模是巨大的。 它包括计算结构，如 NVLink、计算——大型计算、大规模计算结构，如 InfiniBand，以及将它们缝合在一起的非常复杂的网络。 软件栈，它的操作系统，分布式计算软件，它只是计算机科学的极限。推理目前主要是面向 CPU 的工作负载（推荐与购物、书籍或查询、视频处理等相关的内容）， 这是因为当今世界上的大多数推理都相当轻量级。但是我们认为这一趋势正在被改变，主要原因包括以下两个方面：使用CPU做推理缺乏可持续性。 您不能继续承担这些视频工作负载并在 CPU 上处理它们。 你不能拿这些深度学习模型，即使服务质量差一点或好一点，用 CPU 来做，它只会消耗太多电力。而且这种敏感性现在已经渗透到几乎每一个云服务提供商，因为他们拥有的需要加速的工作量已经增加了很多。 所以他们对加速的关注，他们对加速的警觉性提高了。 其次，几乎每个人都处于他们的权力极限。 因此，为了在未来实现增长，您真的必须通过加速来重新获得动力，然后再将其恢复增长。生成式人工智能已经到来。 我们将看到几乎每一个行业，从共同创造者、共同试点中受益，从共同创造者、共同试点中扩大，加速我们所做的一切，从我们创建的文本、我们与之交互的聊天机器人、我们使用的电子表格、PowerPoint 和 Photoshop 等等 依此类推，它们都将成为——你将被共同创造者或副驾驶增强，你将被加速，受到启发。Q2：过去，您主要讨论了结合使用 Grace 和 Hopper 的好处。 今天，您也比我预期的更关注独立的 Grace。 您能否谈谈您是否改变了对预期服务器 CPU 份额增长前景的看法？ 随着时间的推移，我们应该如何考虑潜在的收入贡献，特别是当你考虑 Grace 独立、Grace 超级芯片，然后显然是 Grace-Hopper 组合时？我认为 Grace 对我们来说将是一项大业务，但它会——它远不及加速计算的规模。我们看好Grace未来业务的增长，主要是看好加速工作在计算机图形学、视频处理、生成式AI等领域中的未来发展趋势。对于单线程代码，阿姆达尔定律仍然有效，其它的都已到达瓶颈。由于单线程代码主要与数据处理、获取大量数据、移动大量数据相关，我们设计的CPU是同时擅长处理两个事情（具有极佳的单线程性能，移动数据量非常大）。我们设计了整个系统，而不是只构建一个超快的 CPU 核心——CPU，我们设计了一个超快的 CPU 节点。 通过这样做，我们可以增强功率受限的数据中心能够使用尽可能多的 CPU 的能力。 我认为总的来说，加速计算将成为未来计算的主要形式，因为摩尔定律已经走到尽头。 但剩下的将是繁重的数据处理、繁重的数据移动和单线程代码。 因此 CPU 仍将非常非常重要。 只是设计点会与以往不同。Q3：每次查询的成本正成为生成式 AI 客户的主要关注点，他们正在谈论在未来几个季度和几年内大幅减少。 您能谈谈这对 NVIDIA 意味着什么吗？ 从长远来看，这会成为 H100 工作负载吗？ 你们如何与客户合作以降低成本？是的，您讲的几个东西是在同时发生的。模型将变得更大