英伟达：2025年NVIDIA自动驾驶安全报告

我们的使命 下一代交通工具是自动化的从共享出行和个人驾驶，到长途和短途旅行，再到货物配送和物流，自动驾驶将从根本上改善世界的移动方式。在NVIDIA，我们汽车团队的使命是开发自动驾驶技术，以改善道路安全、减少交通拥堵，让每个人自由出行。 “安全性是自动驾驶汽车的首要考量。NVIDIA致力于构建安全的自动驾驶平台，这是我们最引以为傲的事业之一，并为汽车制造商将自动驾驶汽车推向市场提供至关重要的支持。” 黄仁勋，NVIDIA创始人兼首席执行官 目录 安全架构16硬件18软件18车辆和传感器19数据中心20道路测试21开发者培训和教育22 总结23 前言4 AV 2.0：AI为车辆安全保驾护航6 1AI设计与实施平台8 简介 NVIDIA率先采用加速计算解决其他企业无法攻克的难题。我们在AI和工业数字化领域的工作对社会产生了深远的影响，同时还改变了全球规模最大的一些行业——从游戏到机器人开发，从挽救生命的医疗行业、应对气候变化到我们共同连接和创造的虚拟世界。 NVIDIA还将我们技术驱动的愿景、计算性能和能源效率应用于交通运输行业，帮助全球各地的汽车制造商实现安全可靠的自动驾驶汽车梦想。从概念设计到工程制造、销售服务，NVIDIA的技术正在简化整个汽车行业的工作流程。 借助NVIDIA DRIVE®一切都可以实现，这是我们的高度可扩展平台，可实现美国汽车工程师学会（SAE）定义的所有级别的自动驾驶。这些级别包括高级驾驶辅助系统（SAEL2级：驾驶辅助）和无人驾驶出租车（SAE L5级：完全自动驾驶）。 背后都会有一个庞大的AI专家和软件工程师团队提供支持，他们致力于随着技术的进步不断提升汽车的性能与功能。在汽车的整个生命周期内，功能和服务可通过无线更新添加。 尤其是自动驾驶汽车将改变运输业。它们可能会大幅减少交通事故造成的伤亡、缓解交通拥堵、提高生产力，并为不方便开车的人群提供出行便利。 NVIDIA与全球汽车制造商、供应商、传感器制造商和初创公司携手合作。从AI辅助汽车、卡车到全自主通勤车和无人驾驶出租车，我们提供构建所有类型车辆所需的系统架构、AI超级计算硬件和完整的软件堆栈。借助从云端到汽车的开放式模块化架构，制造商可以使用精选解决方案或完整开发工作流。 完全自动驾驶对计算能力的要求极高，比目前生产的先进汽车动辄超出100倍。借助NVIDIA DRIVE，我们的合作伙伴可以通过计算硬件、传感器套件和软件堆栈的多样性和冗余架构来实现最高级别的安全性。 AI与加速计算领域的突破正在为未来的车队带来引人注目的新功能，几十年来首次将车辆架构彻底转变为真正由AI定义的架构。与所有现代计算设备一样，这些智能车辆 为简化开发，我们创建了单一的软件定义可扩展架构，在保留核心架构的同时，利用额外的硬件和软件来提升每个级别的自主性。同样的策略亦可适用于安全。通过额外的模块化硬件和软件，所达到的安全级别可扩展，以满足高级别自动驾驶更为严格的要求。 NVIDIA已为构建自动驾驶汽车的研究、开发和部署的强大系统打造了关键技术，涵盖从数据中心到汽车等领域。我们提供一系列硬件和软件解决方案，从高性能的GPU和服务器到完整的AI训练基础设施和车载自动驾驶超级计算机。我们还为学术研究和早期开发者提供支持，与全球数十所大学合作，并在NVIDIA深度学习培训中心开设AI开发课程。当我们发现挑战时，我们会将其转化为机遇并找到解决方案。 本报告概述了NVIDIA的自动驾驶汽车技术，我们在安全架构、协同设计软硬件、设计工具和方法论tocs的独特贡献，以及实现最高级别可靠性和安全性的最佳实践。 AV 2.0：AI为车辆安全保驾护航 在复杂的物理世界中构建安全导航的自动驾驶系统是一项艰巨的挑战。系统需要全面感知并了解周围环境，然后在毫秒级别的时间内做出正确、安全的决策。这需要类似于人的态势感知能力，以应对潜在危险或罕见情况。 注重安全性 性。在评估时，还可为大规模验证自动驾驶汽车系统提供额外的机制，作为现实世界测试和验证的补充。 AV 2.0将在构建与验证安全的自动驾驶系统方面发挥重要作用。NVIDIA技术在该领域的应用示例包括: 2.安全交互：当自动驾驶汽车系统部署上路时，它们必须与人类道路使用者进行交互。NVIDIA在利用AI学习驾驶行为预测模型，并借助这些预测了解自动驾驶汽车行为对其他道路使用者的影响。通过使用这些功能，开发者可设计出能够可靠地与其他驾驶员和行人交互的自动驾驶汽车系统，最大限度地降低事故风险。 1.仿真：安全的自动驾驶汽车系统必须做好准备，能够安全应对罕见及异常情况。NVIDIA正在开发高质量、逼真的交通和传感器仿真功能，并根据安全关键场景的自然语言描述构建反事实情境。在开发过程中，这些功能可增强真实世界的训练数据，以提高自动驾驶汽车模块的稳定 AV 2.0与端到端驾驶 自动驾驶汽车软件开发传统上基于模块化方法，具有用于物体检测与跟踪、轨迹预测以及路线规划和控制的独立组件。 如今，自动驾驶汽车技术已迈入新时代——AV 2.0。AV 2.0以大型、统一的AI模型为特色，可控制车辆堆栈从感知、规划到控制的多个环节。 与专注于使用多个深度神经网络改进车辆感知能力的AV1.0相比，AV 2.0则需要全面的车载智能，借助一种称为“端到端驾驶”的方法来推动在动态、真实环境中的决策。 端到端自动驾驶系统采用统一的模型接收传感器输入并生成车辆轨迹。这有助于避免过度复杂的流水线，并提供一种更全面的数据驱动方法以应对真实世界的场景。 AV 2.0在构建和验证更安全自动驾驶汽车系统方面表现出广阔的前景。对任何AI系统来说，重要的是能够可靠地使用。我们主张以高质量不确定性量化和防护措施增强生成式AI系统。借助这些功能，自动驾驶汽车能更安全、更可靠地驾驭复杂和不可预测的世界。 3.异常检测：自动驾驶汽车需要能够可靠地处理异常情况的系统来保障安全。预测场景演变的AI模型可使系统评估哪些异常情况可能对安全产生关键影响，需要执行故障安全行为，而哪些异常情况可以安全地忽略不计。NVIDIA正在探索如何将学习到的未来预测模型用于评估感知失败风险。 加速计算平台。这些专门构建的全栈系统共同构成了强大的三合一体系，可实现持续的开发周期，不断提升性能和安全性。 模型首先在NVIDIA DGX™等AI超级计算机上进行训练。然后，使用NVIDIA Omniverse™平台并在NVIDIA OVX™系统上运行，在进入车辆之前进行仿真测试和验证。最后，NVIDIA DRIVE AGX™平台使用安全AI定义自动驾驶车辆的操作系统NVIDIA DriveOS™，通过模型实时处理传感器数据。 观看CVPR 2024大会端到端自动驾驶大挑战赛冠军得主NVIDIA Research的关于Hydra-MDP模型的视频。 终级铁人三项比赛 开发安全自动驾驶汽车的竞赛并非短跑冲刺，而是永无止境的铁人三项比赛，有三个截然不同但至关重要的部分同时运行：AI训练、仿真和自动驾驶。各部分都需要有自己的 安全自动驾驶的四大支柱 >支柱1：AI设计与实施平台>支柱 2：面向深度学习的开发基础设施>支柱 3：用于自动驾驶汽车开发的物理精准传感器仿真>支柱 4：卓越的全方位安全和网络安全计划 NVIDIA提供统一的硬件与软件架构，贯穿自动驾驶汽车研究、设计和部署基础设施的整个过程。我们提供的技术旨在解决实现安全自动驾驶汽车所必需的四大支柱。 支柱1：AI设计与实施平台 NVIDIA DRIVE是全球首个可扩展AI平台，实现从AI辅助驾驶到自动驾驶出租车的自动驾驶领域全覆盖。该平台由硬件、软件和固件组成，它们协同工作，实现自动驾驶系统和自动驾驶汽车的批量生产。 深度神经网络(DNN)在NVIDIA DGX™平台上进行训练，该平台将出色的NVIDIA软件、基础设施和专业知识融入现代化统一的AI开发解决方案。接下来，在NVIDIA OVX上进行仿真测试和验证，然后无缝部署至车载AI计算机上运行。NVIDIA OVX是一款专为支持大规模Omniverse数字孪生而设计的计算系统。为确保安全运行，自动驾驶车辆需要能够实时处理所有传感器数据的车载超级计算机。 NVIDIA DRIVE硬件 我们的底层硬件解决方案包括： 我们的平台融合深度学习与传统软件，以提供安全的驾驶体验。借助高性能计算，车辆能实时感知周围发生的情况，精准自我定位并规划安全的行驶路线。 我们的统一架构从数据中心延伸到车辆，提供了满足国内和国际安全标准要求的全面解决方案。 NVIDIA DRIVE AGX Hyperion NVIDIA DRIVE AGX Hyperion™是用于设计自动驾驶汽车的端到端模块化参考架构。它将基于DRIVE AI的计算和完整的传感器套件（包括外部和内部摄像头、超声波传感器、雷达和激光雷达）相结合，加速开发、测试和验证。 NVIDIA Blackwell架构 NVIDIA DRIVE AGX Orin NVIDIA DRIVE AGX Thor NVIDIA DRIVE AGX Orin™SoC（片上系统）可提供高达254 TOPS（每秒万亿次运算）的性能，是智能车辆的中央计算机。它是理想的解决方案，为自动驾驶功能、置信视图、数字集群以及AI驾驶舱提供动力支持。借助可扩展的DRIVE AGX Orin产品系列，开发者只需在整个车队中构建、扩展和利用一次开发投资，便可从L2+级系统一路升级至L5级全自动驾驶汽车系统。 DRIVE AGX Thor™SoC是我们的下一代集中式车载计算机，将功能丰富的驾驶舱功能与高度自动化及自动驾驶功能整合在一个安全可靠的系统上。这款自动驾驶处理器采用了我们最新的CPU和GPU技术，包括NVIDIA Blackwell GPU架构，用于转换器和生成式AI功能。DRIVE AGX Thor支持8位浮点数(FP8)，可提供前所未有的1,000 INT8 TOPS/1,000 FP8 TFLOPS/500 FP16TFLOPS性能，同时降低整体系统成本。 NVIDIA Blackwell平台开启计算新时代，将使各地的组织能够在万亿参数的大语言模型上构建并运行实时生成式AI，且成本和能耗降低至上一代产品的二十五分之一。Blackwell GPU架构拥有加速计算的变革性技术，包括全球最强大的芯片。 NVIDIA DRIVE软件开发套件 软件是将车辆变成智能机器的关键。开放的NVIDIADRIVE SDK为开发者提供了自动驾驶所需的所有基础模组和算法堆栈。该软件帮助开发者更高效地构建和部署各种先进的自动驾驶应用，包括感知、定位和建图、规划和控制、驾驶员监控以及自然语言处理。 >DRIVE软件堆栈的基础是DriveOS，这是首个用于车载加速计算的安全操作系统。它包括用于实现高效并行计算的NVIDIA® CUDA®库、用于实时AI推理的NVIDIATensorRT™，以及用于传感器输入处理的NvMedia。 >NVIDIA提供了一个AI辅助驾驶平台，能够安全地在高速公路和城市交通之间自由穿梭。该平台使用NVIDIADRIVE AGX Hyperion的高性能计算和传感器组合，实现从一地前往另一地的驾驶。如果您想要自己驾驶，系统也会提供主动安全功能，并且能够在危险情况下进行干预。 >NVIDIA还可为车辆驾乘人员提供了全新的、始终开启的智能服务。NVIDIA Avatar Cloud Engine (ACE)作为数字助手，提供建议、帮助预订、拨打电话、调控车辆设置并使用自然语言发出提醒。 >NVIDIA DriveWorks在DriveOS的基础上提供对自动驾驶汽车开发至关重要的中间件功能。这些功能包括传感器抽象层(SAL)和传感器插件、数据记录器、车辆I/O支持和DNN框架。该工具拥有模块化和开放的特点，符合汽车行业软件的设计标准。 支柱 2：面向深度学习的开发基础设施 除了车载超级计算硬件