英伟达：GTC大会主题演讲纪要全文20220323

会议时间：北京时间2022年3月23日23:00公司参与者：CEO/黄仁勋要点总结1.英伟达发布Hopper架构的新一代计算卡-H100，采用台积电4N工艺，集成800亿个晶体管，显著提升了AI尤其是Transformer的速度，并支持提升带宽速度的NVlink，创造有史以来最大的代际性能提升，其大规模规模训练性能是A100的9倍，大型语言模型推理的吞吐量是A100的30倍。2.数据中心超级芯片Grace将于2023年上半年上市，并支持NVlink和多种Grace-Hopper系统配置。3.自动驾驶芯片Orin本月开始发售，比亚迪将在2023年上半年投产的汽车搭载Orin芯片；自动驾驶工具包Hyperion9将从2026年起搭载到汽车中，传感器数量将两倍于Hyperion8。英伟达CEO黄仁勋现在医生只需要几个小时就可以完成人类DNA的测序工作，并根据氨基酸序列预测DNA的三维结构。研究人员可以使用计算机来生成新的候选药物，并且通过计算机，完成新药物对目标疾病的疗效测试。AI正在学习生物学、化学，就像AI在学习声音、图像。在AI进入计算机领域以后，药物研发领域也将迎来一场新的革命，正如我们在其他受AI影响的领域所见证的一样。这些功能在十年前是遥不可及的，数据中心规模的加速计算与机器学习相结合，可以将计算机速度提高百万倍。加速计算已经使像Transformer这样的革命性AI模型和自监督学习成为可能。AI已从根本上改变了软件的能力以及开发软件的方式，各公司都在处理和完善自己的数据、开发AI软件并使自己成为智能的生产商。他们的数据中心正在逐步演变为AI工厂。第一波AI学习的是感知和推理，例如图像识别、语音理解。下一波AI的发展方向是机器人，也就是使用AI规划行动。数字机器人、虚拟形象和实体机器人将完成感知、规划并采取行动。如同TensorFlow和PyTorch等AI框架已经成为AI软件中不可或缺的一部分，Omniverse也将成为制作机器人软件时必不可少的工具。Omniverse将掀起一波新的AI浪潮。在本届GTC大会上，将探讨下一个一百万倍加速，以及其他塑造我们所在行业的动态。在过去十年中，NVIDIA加速计算在AI领域中实现了百万倍的加速并引发了现代AI革命。如今，AI将会为所有行业带来翻天覆地的变化。这些CUDA库和NVIDIASDK是加速计算的核心。伴随着每一个新的SDK，新的科学领域、新的应用和行业都可以利用其强大的计算能力。这些SDK解决了计算、算法和科学交叉领域中及其复杂的问题，NVIDIA的全栈方法产生的复合效应，实现了百万倍的加速。如今，NVDIA帮助数百万开发者以及成熟公司、初创企业实现高速发展。当看到领先的计算机科学家、AI研究人员、机器人专家和自动驾驶汽车设计师在GTC上展示他们的成果时，我们会备受鼓舞。从新的与会者和演讲中，可以看出AI和加速计算的覆盖范围和影响正不断扩大：百思买、家得宝、沃尔玛 、克罗格和劳氏公司使用AI进行工作；Linkedln,Snap,Salesforce,DoorDash,Pinterest,ServiceNow,美国运通和Visa将分享大规模使用AI的经验；医疗健康公司葛兰素史克、阿斯利康、默克、百时美施贵宝、梅奥医院、麦克森和礼来将发布演讲。GPU使AI发生了革命性的转变。现在，基于GPU的AI正在革新各个行业和科学领域，其中对人类最具影响力之一的就是气候学。科学家预测若想有效地模拟区域气候变化，将需要一台比现在大十亿倍的超级计算机，但我们现在就必须对工业决策的影响以及减缓和适应策略的有效性做出预测。NVIDIA将使用我们的首台AI数字孪生超级计算机Earth-2来应对这一巨大挑战。通过发明新的AI和计算技术，来让我们获得十亿倍的算力支持，并及时采取行动。早期证据表明我们能够成功，来自NVIDA、加州理工学院、伯克利实验室、普渡大学、密歇根大学和莱斯大学的研究人员开发了一个名为FourCastNet的天气预报AI系统，这是一个基于物理信息的深度学习模型，可以预测飓风、大气河以及极端降水等天气事件。它以欧洲中期天气预报中心长达40年的模拟增强型真值数据为基础，学会了如何预测天气，深度学习模型首次在降水预测方面达到了比先进的数值模型更高的准确率和技能，并使预测速度提高了4-5个数量级，传统的数值模拟需要一年的事件而现在只需要几分钟。NVIDIA是加速计算的先驱，这个领域需要全栈专业知识，类似于一个计算堆栈或神经网络，我们需要从四个层级来构建NVIDIA：硬件、系统软件、平台软件和应用，每一层都对计算机制造商、服务提供商和开发者开放，让他们以更合适的方式集成到产品中。今天将在每一层级都宣布对应的新产品。AI的进步令人惊叹，Transformer模型开启了自监督学习，并解除了人工标记数据的需求，因此我们可以使用庞大的训练集来训练该模型，学习更加充分且可靠的特征。得益于Transformer，模型和数据的规模皆已扩大增长，而模型技能和准确性也因此快速提升。用于语言理解的GoogleBERT，用于药物研发的NVIDIAMegaMolBart，以及DeepMind的AlphaFold，都是基于Transformer模型的突破性成果。Transformer让监督学习成为可能，也令AI飞速发展。自然语言理解模型可以从大量的文本中学习，无需监督。然后通过少量的人工标记数据进行细化。以发展其在翻译、问答、摘要、写作等方面的优秀技能。具备语言监督的多模型学习已为计算机视觉开拓了新维度。像NVIDIANVCell这样的强化学习模型正在执行芯片布局，其也就表示AI正在构建芯片。如同FourCastNet和Orbnet,Physics-ML模型也正在学习物理学和量子物理学，这些都是取得重大突破的首要条件。生成模型正在改变创意设计、帮助构建虚拟世界并革新通信方式。如同NeRF，从2D图像中学习3D表征的神经图形网络，将扩大摄影应用场景，并帮助我们创造属于我们世界的数字孪生。AI正在各个方向加速发展，包括新的架构、新的学习策略、更大和更可靠的模型。新的科学、新的应用、新的行业，所有这些都在同时进行，接下来黄仁勋展示了一个令人惊叹的示例，这个AI驱动的动画角色是基于物理规则的强化学习模型制作的。利用强化学习开发更栩栩如生、反应灵敏的物理模拟角色，通过模仿人类的动作数据，来学习执行逼真的动作，例如行走、跑动和挥剑。这些角色在模拟环境中经过了长达10年的强化训练，借助NVIDIAGPU驱动的大规模并行模拟器，这种训练在真实世界中只需花费3天即可完成。这些虚拟角色随后会学习执行各种运动技能，经过训练的虚拟角色可以利用这些技能来执 行更复杂的任务。我们还可以引导它沿着不同的方向行走，像控制游戏角色一样。基于模型，虚拟角色还可以在新环境中生成自然而连贯的行为，我们还可以用自然语言控制它，例如让它进行盾击或者挥剑。黄仁勋团队希望这项技术最终能让基于虚拟角色的动画制作变得简单、流畅，就像和真实演员说话一样。NVIDIAAI是驱动这些创新的引擎，他们正在全力推动该平台的发展。NVIDIAAI是一套涵盖整个AI工作流程的库，从数据处理和ETL特征工程到图形、经典机器学习、深度学习模型训练以及大规模推理。NVIDIADALL,RAPIDS,cuDNN,Triton和MagnumIO是其中最热门的库，他们使用这些库来创建专用AI框架，包括先进的预训练模型和数据管道，使其易于横向扩展。新产品发布1.NVDIATritonNVDIATriton是一款开源的、超大规模的模型推理服务器，是AI部署的“中央车站”，它支持在每一代NVIDIAGPU、x86和ArmCPU上部署模型，并具备支持AWSInferentia等加速器的接口，Triton支持各种类型：CNN、RNN、Transformer、GNN、决策树，还支持各类框架：TensorFlow、PyTorch、Python、ONNX、XGBoost。Triton支持各类查询类型：实时、离线、批处理，或串流视频和音频。Triton支持各类机器学习平台：AWS,Azure,Google,阿里巴巴，VMWare,DominoDataLab,OctoML等。Triton可以在各个地方运行：云、本地、边缘或嵌入式设备。AmazonShopping正在使用Triton进行实时拼写检查。并可以通过我们的TAO潜移学习工具包进行自定义调优。Riva可以在各类云上运行，也可以在各类有NVIDIAGPU的地方运行，几乎无所不在。Maxine是集合最先进AI算法的SDK，它为重塑通讯方式而生，视频会议系统需要对图像和声音进行编码、传输和解码操作。计算机视觉将取代传统图像编码，而计算机图形将取代传统图像解码。语音识别将取代传统音频编码，并且语音合成将取代传统音频解码。AI将为视频会议带来革新，远程工作将常态化。我们对虚拟实时交互的需求已远超从前。Maxine是一个AI模型工具包，开发者可以使用它来重塑通信和协作方式，它目前已拥有30个模型。本次GTC发布的版本增加了用于回升消除和音频超分辨率的新模型。2.NVIDIAMerlinNVIDIAMerlin是用于推荐系统的AI框架，Merlin由推荐系统流程的端到端组件组成，包括特征转换、召回和模型排序。通过NVIDIAMerlin，公司可以快速构建、部署和扩展先进的深度学习推荐系统。Snap使用Merlin来改善广告和内容推荐，在降低50%成本的同时，服务延迟也缩短了一半。腾讯微信基于Merlin将短视频延迟缩短为原来的四分之一，并将吞吐量提升了十倍。从CPU迁移到GPU，腾讯在该业务的成本减少了一半。在这次GTC，他们将正式发布Merlin的1.0版本。推荐系统是个性化引擎，互联网有着上万亿的内容并且日新月异，例如新闻、社交视频、新产品信息等，我们该如何从海量信息中找到需要的内容？推荐系统学习物品的特征、用户的显性或隐形偏好，为用户推荐可能感兴趣的内容，这就是个性化互联网。先进的推荐引擎推动着全球消费互联网服务的发展。未来，它还将推动金融服务、医疗健康服务、旅游等行业的发展 。3.NemoMegatronNemoMegatron是一款专门用于训练大型语言模型的AI框架，其支持的参数规模可高达数万亿。Transformer彻底革新了自然语言处理，训练大型语言模型需要极大的勇气，因为这是一项巨大的计算机科学挑战。OpenAI的GPT-3有1750亿个参数。NVIDIAMegatron有5300亿个。Google的新版SwitchTransformer有1.6万亿个参数。为了在目标基础框架上实现最佳性能，NemoMegatron可以自动执行数据、张量及流水线并行、编排和调度，并且自动适应不同精度。现在已经支持各类NVIDIA系统，自动超参数调优，针对目标基础架构。NemoMegatron也是云原生的框架，现已支持Azure，很快会支持AWS。AI是智能的创造和生产者，这是一项具有重大意义的事业，设计计算机的方方面面和每个行业。MVIDIAAI库和SDK将加速整个AI生态系统中的软件、平台和服务。即使拥有出色的工具和库，开发者和NVIDIA也必须投入大量的开发工程来确保其性能、可扩展性、可靠性和安全性。因此他们创建了NVDIAAI加速计划，通过与AI生态系统中的开发者合作，开发工程化解决方案，确保客户放心部署。NVIDIAAI使AI实现普及，让各个行业和公司都可以应用AI自我重塑。其中，数字生物学的革命尤为引人瞩目。AI加速了DNA测序、蛋白质结构预测、新型药物合成和虚拟药物测试。在过去几年中，AI药物研发初创公司获得了超过400亿美元的投资。InsilicoMedicine刚刚将其首个由AI研发的药物送入人体临床试验阶段，发现新药和靶点仅用了不到18个月的时间，比之前快了数年。数字生物学革命的条件已经成熟，这将是NVIDIAAI迄今为止最伟大的革命。语音、对话、客户服务和推荐系统等AI应用正在推动数据中心设计的根本性变化。AI数据中心会处理大量的连续