英伟达GTC：analyst call纪要-20240319

我们昨天讨论了五件事，第一个当然是新工业革命。有两件事正在发生，首先是从通用计算转向加速计算。如果看一下通用计算的趋势，你会发现这些年来它的发展速度已经大大放缓。事实上，我们知道它已经放缓了大约十年，人们只是不想解决这个事，但你现在真的必须处理掉。可以看到人们因此延长了数据中心的折旧周期。可以购买一套全新的通用服务器，但它不会显着提高整个数据中心的吞吐量。因此不妨继续使用现有的产品一段时间。这种趋势永远不会逆转。通用计算已经达到了这个目的。我们将继续需要它，并且有很多软件在其上运行，但很明显我们应该尽一切努力加速。许多不同的行业已经得到了加速，其中一些工作负载非常大，我们确实希望进一步加速。但加速计算的好处是非常明显的。昨天我没有花时间在我真正想要的领域之一，即数据处理。 NVIDIA 有一套库。公司做几乎任何事情之前，必须处理数据。而且数据量非常大。世界各地正在创建ZB级别的数据，每隔几年就会翻一番，尽管计算量并不是每隔几年就会翻一番。所以传统计算在数据处理的曲线的错误一侧。如果不转向加速计算，数据处理费用就会不断上涨。对于很多认识到这一点的公司来说，比如阿斯利康、visa、美国运通、万事达卡，以及我们合作的很多很多公司，他们已经将数据处理费用减少了 95%，基本上减少了 20 倍。到目前为止，我们的名为rapids的库的加速很厉害， Spark的发明者创办了一家名为Databricks的伟大公司，他们是云大规模数据处理公司，他们宣布他们将Databricks 就是他们的光子引擎，这是他们皇冠上的宝石，他们将使用 NVIDIA GPU 来加速这一过程。加速的好处当然是为客户带来节省，而且重要的是这样可以继续可持续地计算。否则处于曲线的错误一侧。永远不会到达曲线的右侧。因此必须加速计算。我们对算法的加速速度如此之快，以至于计算的边际成本在过去十年中大幅下降，使得这种称为生成式人工智能的新软件开发方式成为可能。如你所知，生成式人工智能需要大量的失败、大量的计算。这不是正常的计算量，而是疯狂的计算量。然而，现在消费者可以以经济高效的方式使用名为 ChatGPT 的令人难以置信的服务。因此，加速计算已经降低了计算的边际成本，从而实现了做其他事情的新方法。这种新方式是由计算机用数据作为原材料编写的软件。你向它加入能源。通过家偶偶 GPU 超级计算机。由此产生的就是我token。当与 ChatGPT 交互时，将获得一切——它会生成token。现在，该数据中心不是一个普通的。它不是您过去所了解的数据中心。其理由是这样的。它没有被很多人共享，并没有做很多不同的事情。，而是24/7 运行一个应用程序。它的工作不仅仅是省钱，它的工作是赚钱。这是一家工厂。这与上次工业革命的交流发电机没有什么不同。进来的原材料没有什么不同，都是水。他们将能量转化为电能。现在是数据进入其中。它使用数据处理进行完善，当然还有生成人工智能模型。由此产生的是有价值的代币。这个想法是 我们将应用软件的基本方法。生成token有些人称之为推理，这种生成软件、生成数据、与你交互的方式，ChatGPT正在与你交互。这种与你合作、与你合作的方法，你可以随心所欲地扩展，副驾驶到人工智能代理，你可以随心所欲地扩展这个想法，但基本上是相同的想法。它正在生成软件，它正在生成token，它来自于一个叫做 AI 生成器的东西，我们称之为 GPU 超级计算机。对于另外两个想法也是这样。一是我们今天使用的传统数据中心应该加速，而且确实如此。它们正在现代化，很多很多，越来越多的行业一个接一个。因此，世界上数万亿美元的数据中心肯定有一天会全部加速。问题是，需要多少年才能完成，但由于第二个动力，即它在人工智能方面的令人难以置信的好处，它将进一步加速这一趋势。第二种类型的数据中心，称为交流发电机，或者人工智能发电机或人工智能工厂，正如我所描述的那样，这是一个全新的东西。它是一种全新类型的软件，产生一种全新类型的宝贵资源，它将由公司、行业、国家等创造出来一个新的行业。我还谈到了我们的新平台。人们对blackwell有很多猜测。 Blackwell 既是系统核心的芯片，但它实际上是一个平台。它基本上是一个计算机系统。 NVIDIA 的生意并不是制造芯片。我们构建了一个完整的超级计算机，从芯片到系统再到互连、NVLink、网络，但非常重要的是软件。你能想象一下家里有堆积如山的电子产品吗，将如何对其进行编程？有了多年来为了使其有效而创建的所有库，你将拥有刚刚带入公司的价值数十亿美元的资产。任何时候不使用它都会花费你的钱，而且费用不可思议了。因此，我们不仅能帮助公司购买芯片，还能帮助他们开发系统并投入使用，然后一直与他们合作来制造它——让它得到更好、更好、更好的使用。这就是 NVIDIA 的生意。我们称之为 Blackwell 的平台拥有所有与之相关的组件，我在演示结束时向您展示了这些组件，了解我们所构建的内容的规模。所有这些，然后我们拆解。我们构建了这个垂直整合的东西，但我们以一种可以拆卸的方式构建它，并且客户可以购买不同部分，因为也许您想将它连接到 x86。也许客户想将其连接到 pcie。也许客户想通过光学器件连接，也许想要拥有非常大的 NVLink 域，也许您想要更小的 NVLink 域，也许可以使用arm处理器，也许想使用以太网，虽然以太网不太适合人工智能。以太网不适合人工智能是有原因的。但你可以让以太网非常适合人工智能。就以太网行业而言，它被称为超级以太网。因此，大约三四年后，超级以太网就会出现，这对人工智能来说会更好。但在那之前，这对人工智能来说并不好。这是一个很好的网络，但它不利于人工智能。所以我们扩展了以太网，我们在其中添加了一些东西。我们称之为 Spectrum-X，它基本上执行自适应路由。它进行拥塞控制。它起到噪音隔离的作用。AI并不是平均吞吐量，与网络的平均吞吐量无关，而网络的平均吞吐量正是以太网的设计目的，即最大平均吞吐量。人工智能只关心最后一个部分什么时候交出产品，基于根本不同的设计点。如果您针对最高平均水平与最差学生进行优化，您将提出不同的架构。人工智能已经将所有归为所有，只要在算法、tra nsformer算法、专家混合算法中查找，就会看到所有这些 GPU 都必须相互通信，最后一个提交答案的 GPU 会阻碍所有人。这就是工作原理。这就是网络产生如此大影响的原因。将所有东西联网吗，但会损失 10%、20% 的利用率，如果计算机价值 10,000 美元，那么 10% 到 20% 的利用率还不多。但如果计算机价值 20 亿美元，那么 10% 到 20% 的利用率就很大了。这就是为了超级计算机付费的原因无论如何，我展示了所有这些不同组件的示例，我们公司创建了一个平台以及与之相关的所有软件，所有必要的电子设备，然后我们与公司和客户合作将其集成到他们的数据中心，因为也许他们的安全性不同，也许他们的热管理不同，也许他们的管理平面不同，也许他们只想将其用于一个专用的人工智能，也许他们想将其出租给很多人来做不同的人工智能。用例非常广泛。也许他们想要构建一个本地部署并在其上运行 VMware。也许有人只想运行 Kubernetes，有人想运行 Slurm。我们考虑了所有这些因素，经过相当长的一段时间，我们现在已经弄清楚如何为每个人提供服务。因此，我们可以大规模建造超级计算机。但基本上 NVIDIA 所做的就是建立数据中心。好的。我们将其分解成小部件，然后将其作为组件出售。人们因此认为我们是一家芯片公司。我们做的第三件事是讨论这种称为 NIM 的新型软件。这些大型语言模型堪称奇迹。 ChatGPT 是一个奇迹。这不仅是一个奇迹，还在于它的团队能够让您以非常高的响应率与 ChatGPT 进行交互。这是一个世界级的计算机科学组织。从事这项工作的 OpenAI 团队是世界一流的，是世界上最好的团队之一。为了让每家公司都能够构建自己的人工智能、操作自己的人工智能、部署自己的人工智能、跨多个云运行，就必须有人为他们做计算机科学。我们决定创建工具和操作，而不是为每个模型、每个公司、每个配置都这样做，我们将第一次打包大型语言模型。客户可以买它。您只需访问我们的网站，下载并运行即可。我们收费的方式是所有这些模型都是免费的。但是当运行它时，当在企业中部署它时，运行它的成本是每年每个 GPU 4,500 美元。基本上，是运行该语言模型的操作系统。就每个实例而言，每次使用的成本非常低。是非常实惠的。好处确实很大。我们称之为 NIM，即 NVIDIA 推理微服务。如果你接受了这些 NIM，你就会拥有各种类型的 NIM。你拥有计算机视觉的 NIM。将拥有语音和语音识别以及文本到语音的 NIM，并且将拥有面部动画。将拥有机器人关节。将拥有各种不同类型的 NIM。这些 NIM使用的方式是从我们的网站下载它，然后根据客户的示例对其进行微调。客户会举一些例子。说NIM回答这个问题的方式并不完全正确。这在其他公司可能是正确的，但在我们公司就不正确。因此可以给提供一些正是希望的示例，展示工作产品。 我们有一个系统可以帮助tokenize这个过程，处理所有与之相关的人工智能，所有与之相关的数据处理，微调，评估，以便你的人工智能非常有效，第一，也非常垂类。之所以希望它非常垂类，是因为比如你是一家零售公司，客户不希望你的人工智能谈论一些随机的事情，而是无论问题是什么，它都会将其带回到方向上。所以护栏系统是另一个人工智能。因此，我们拥有所有这些不同的 AI 来帮助您定制我们的 NIM，并且您可以创建各种不同的 NIM。我们为您提供了其中许多框架的一些。其中非常重要的一点是了解专有数据，因为每个公司都有专有数据。我们创建了一个名为“检索器”的微服务。它是最先进的，可以帮助获取数据库，该数据库是结构化或非结构化图像、图表或图表或其他任何内容，我们可以帮助嵌入。我们帮助您从这些数据中提取含义。然后我们把它称为语义，语义嵌入到向量中，该向量现在被索引到一个称为向量数据库的新数据库中，还有矢量数据库，然后就可以与它交谈。所有这些都称为 Nemo，我们有专家为您提供帮助。然后我们将我们称为 DGX 云的规范 NVIDIA 基础设施放入全球所有云中。因此，我们在 AWS 中有DGX 云，在 Azure 中有 DGX 云，在 GCP 和 OCI 中有 DGX 云。因此，我们与世界各地的企业公司合作，特别是企业 IT 公司，我们与他们一起创建这些伟大的人工智能，但当它们完成后，它们可以在 DGX 云中运行，这意味着我们正在有效地将客户带到世界的云中。像我们这样的平台，为系统制造商带来了客户，而 CSP 就是系统制造商。他们租用系统而不是出售系统，但他们是系统制造商。我们将客户带到我们的 CSP，这是一件非常明智的事情，就像我们将客户带到 HP、Dell、IBM 和 Lenovo 等等，以及 Supermicro 和 Coreweave 等等，我们将客户带到我们的 CSP。如果您是一家平台公司，您就可以为生态系统中的每个人创造机会。因此，DGX 云使我们能够将所有这些企业应用程序落地到全球 CSP 中。他们希望在本地进行。我们昨天宣布与戴尔、惠普和其他公司建立了良好的合作伙伴关系，您可以将这些 NIM 放入他们的系统中。然后我谈到了人工智能的下一波浪潮，这实际上是关于工业人工智能。世界上绝大多数工业都是重工业，而重工业从未真正从 IT 中受益。他们没有从很多设计和所有数字技术中受益。这不叫数字化，他们没有像我们的行业那样从数字化中受益。由于我们的行业已经完全数字化，因此我们的技术进步非常巨大。我们不称之为发现芯片。我们称之为设计芯片。为什么他们称之为发现药物，因为数量很多很复杂学，变化的影响很大，生命的进化速度与晶体管不同。因果关系更难监控，发生在大规模、大规模系统和大规模时间范围内。这些都是非常复杂的问题。工业物理学非常相似。所以我们终于有能力使用大型语言模型和相同的技术。如果我们可以对蛋白质进行token化，如果我们可以对单词进行token化，对语音