英伟达自动驾驶的ChatGPT时刻

核心观点与关键数据

• 自动驾驶与物理人工智能（Physical AI）：自动驾驶（AV）是物理人工智能的最佳范例之一，其发展速度惊人。NVIDIA的NViDiA自动驾驶解决方案是一个全栈程序，旨在实现L4级别自动驾驶，并在10年内投入了数十亿美元。
• 基础模型在物理人工智能中的作用：基础模型是通过大规模自监督学习训练的模型，可适应多种下游任务。NVIDIA利用基础模型推动端到端物理人工智能开发，通过云端运行的大型智能模型实现。

Alpamayo Vision-Action (VA) 模型

• 背景：Alpamayo VA模型是Alpamayo生产（NDASE2E程序）的基础，支持多种场景下的自动驾驶决策。
• 应用案例：在视频演示中，Alpamayo VA成功处理了未保护左转、VRU（弱势道路使用者）穿越及开门上车的复杂场景。
• 演进：从Alpamayo VA到Alpamayo VLA，模型性能得到显著提升。

Alpamayo VLA 与语言预训练

• 互联网规模预训练的优势：语言预训练与驾驶任务协同作用，使模型收敛速度更快，稳态表现更好。在跨越美国和欧盟的25,600个场景中评估，语言预训练模型的表现优于从头训练模型。
• 闭环评估验证：闭环评估结果进一步证实了语言预训练的有效性。

Alpamayo Reasoning VLA

• 架构：Alpamayo Reasoning VLA采用可扩展架构，整合了推理、行动和视觉模块。
  • 行动：通过轻量级条件流匹配RL进行推理引导的轨迹解码，提升推理与行动的协同。
  • 推理：基于互联网规模数据预训练的推理主干网络，结合可验证奖励的强化学习，增强因果关系推理能力。
  • 视觉：高效上下文编码器，支持多模态输入（摄像头、文本），并优化多摄像头、多时间步长的token化过程，支持更高分辨率和传感器数量。

Alpamayo-R1：推理与行动预测的融合

• 问题：端到端架构在监督稀疏的长尾场景中表现脆弱，因果理解有限。
• 解决方案：Alpamayo-R1整合了因果推理与轨迹规划，提升复杂驾驶场景中的决策能力。
• 创新点：
  1. 链式因果关系推理。
  2. 轨迹规划。
  3. 推理与行动的融合。

Alpamayo 生态系统

• 开放平台：NViDiA Alpamayo开放平台旨在加速基于推理的自动驾驶开发，提供模型、数据集、模拟框架和工具。
• 资源：
  • Alpamayo模型（10B参数推理VLA）。
  • 物理人工智能自动驾驶数据集（约1700小时多传感器数据，覆盖25个国家2500个城市，人类QA标注的推理标签）。
  • AlpaSim（开放模拟框架，支持闭环测试和验证）。
  • AlpaGym（基于AlpaSim的闭环端到端驾驶基准）。
• 社区认可：Alpamayo平台获得超过40万模型下载、230万数据集下载和3000个GitHub仓库星标，并在Computex 2026上获得最佳选择奖。
• 工具与支持：
  • Recipes（实用脚本）。
  • Utility Scripts（工具脚本）。
  • Chain-of-Causation Reasoning Labels（因果推理标签）。
  • Reasoning Auto-Labeling Pipeline（推理自动标注流程）。
  • Post-Training Recipes（后训练脚本）。

未来展望

• Alpamayo 2 Super Robotaxi Reasoning Model：宣布推出Alpamayo 2超级出租车推理模型。
• CVPR 2026议程：涵盖训练扩展、物理人工智能安全、模拟与训练、部署、生态系统合作等主题。
• 社区互动：鼓励在CVPR 2026期间与NVIDIA团队交流。