与DRIVE AV同行

这真是太不可思议了。我们现在坐在伍德赛德的巴克餐厅外面，今天我们要去旧金山。没错。我正想说，当你进入自动驾驶模式时告诉我一声，这样我就不用那么担心我的安全了。我们拥有世界上唯一的端到端自动驾驶技术栈。是的。以及一个可追溯的、由人类工程师设计的自动驾驶技术栈。没错。这非常关键，因为你知道，对于一个端到端模型来说，验证起来非常困难。基本上，它总是安全的，对吧？是的。而经典技术栈是基于ASIL协议和流程开发的。我们知道如何确保软件安全。是的，阿尔帕马约的神奇之处在于它能做出惊人的事情。没错。而且它开起车来就像人类一样。是的。因为它是端到端的，每当有需要改进的地方，你可以通过整个模型反向传播，就一定能改进它。是的。我认为挑战当然在于，阿尔帕马约虽然极其聪明，能够推理周围环境，但我们不知道它不能做什么。没错。是的。所以，这就是挑战所在。这也是为什么我们的经典技术栈如此重要的原因。是的。阿尔帕马约在我们技术栈中真正了不起的一点是，我从不觉得阿尔帕马约会被允许做出超出其分布范围的事情。原因在于我们的经典技术栈会介入并阻止这种情况发生。对。我们模型的一个巨大优点是开发速度惊人。你知道，我们现在已经迭代了，我想是2300个版本。我们基本上是根据迭代次数来标记版本，粗略地说，我们用了大约一年多的时间，对吧？所以，我们平均每天迭代七个模型。显然不是每一个都会部署到车上，但由于这些流程，开发过程中的人工步骤和轨迹规划被降到了最低。这就是为什么我们能超级快速地迭代。嗯，端到端模型的真正优势在于，每当你改进模型时，因为这是一个庞大的端到端模型，你不会修复一个问题却搞坏另一个东西。经典模型因为有很多不同的模块，你修复了这个问题，逻辑有时会相互矛盾。是的。所以非常脆弱。你修复了一个问题，就像在桌子底下追猫赶狗一样，真的很困难。你知道，大多数以经典方式构建的控制系统都有同样的问题。而且它有很多步骤，对吧？例如，今天我们要去看一个减速带，这是基于模型的。如果你想想如何检测减速带并做出适当反应，你必须将其分解成很多很多步骤，从感知开始。然后，你必须通过上下文融合将其添加到世界模型中。接着，你基本上必须决定需要多早开始减速、减多少，甚至可能根据我们见过的不同减速带做出不同反应。但对于端到端模型，它基本上就自然而然地发生了。实际上，我们甚至没有特意规划，它就发生了。是的，没错。所以这相当神奇。有很多人在构建端到端模型。对。但我真的认为，两者的融合才是关键。是的。这是革命性的。它赋予了你超乎寻常的、惊人的驾驶能力。以及安全性。没错。回到模型。实际上，你知道，它能做到这样是因为它非常庞大，对吧？实际上，我们有时确实会看到，当你试图解决某个问题时，其他方面可能会出现一些退步。对。所以，能够建立一个全面的、非常完善的闭环评估系统，也就是我们所说的SIL，是超级关键的。是的。这就是我们筛选模型的方式，确保"坏孩子"被淘汰掉。是的。不过，我仍然喜欢的一点，而且我认为这已被证明是正确的，那就是即使阿尔帕马约出现退步，你的经典技术栈也总能起到护栏作用。没错。实际上，这就是为什么我们的开发速度一直这么好，因为你总是有一个备份。是的。如果你遇到一点小问题，没关系。是的。我们会继续迭代。是的。只会越来越好。你永远不会失去安全性。你可能会损失一些能力，但不会损失安全性。是的。这对我们未来的机器人出租车来说将至关重要。你明白我的意思吗？没错。这也是我们迈向L3和L4级别的优势，因为我们有冗余的技术栈，即使是L2++级别，也能自然地扩展到L3和L4。是的。这很关键。然后，还会有远程操作。是的。作为备份系统。然后，你知道，每一个机器人出租车，每一个机器人出租车服务都应该有一个空中交通管制中心，而我们技术的真正伟大之处在于，无论出于什么原因，如果机器人出租车被困住了，你只需要给它几个路径点。人类注入路径点，它就应该能够自己导航出来。对。这是因为它有一个安全技术栈，一个备份技术栈，安全性永远不会受到损害。没错。阿尔帕马约另一个做得非常非常好的地方是变道能力。因为经典技术栈在变道时，我们必须选择间隙。我们必须遵循很多规则和启发式方法。对。以确保安全，所以有时它会有点胆怯，特别是当前后有车 从未给我的感觉。嗯，它模仿了所有它经历过的驾驶行为，并从中进行泛化。是的。深度学习的基本概念，本质上就是记忆和泛化。是的。这对自动驾驶汽车来说效果很好。AI是使自动驾驶成为可能的最重要的技术，对吧？是的。但是，你知道，我从事这项工作已经很久了，过去两三年。天哪，你知道？是的。它迭代得太快了。是的。如果你想想看，特别是使用端到端模型是一个重大突破。没错。是的。AI基本上，在某种程度上，你可以认为整个行业都在第一种架构上迭代，也就是仅基于机器学习的感知，对吧？持续了十年。我们取得了很大进展，你知道，机器人出租车可以通过那种方式实现。是的。但是，在过去的三年里，我们迭代了，我们首先引入了模型，现在我们在其中加入了推理能力。这实际上是三年内的两代技术。我们构建所基于的两个基础技术，当然，这个端到端模型架构是革命性的。但让我们与众不同的，以及让我们能够极其快速地部署到L3、L4级别和机器人出租车的原因是，我们有一个经典技术栈作为安全护栏和安全系统，并且因为我们有一个推理系统。所以，那些可能不在我们数据集中的长尾经验，仍然可以被分解成我们数据集中已有的常规经验类型，汽车将能够推理出如何导航和操作。因此，我真的认为，在这两个理念之间，无论推理系统决定做什么或实现什么，你背后总有一个安全护栏。所以我们这个迭代系统将发展得非常快，推理和护栏技术将是革命性的。没错。我们所有的L2++工作，整个飞轮，你知道，在路上收集数据，处理这些数据。现在，我们通过NuRec和Cosmos大大增强了这一点。是的。干得好。干得好。谁知道人类司机会怎么做。这相当不错。是的。整个飞轮至关重要。是的。正如我所说，在模型方面，你知道，因为会有批次处理，这非常重要，我们基本上每天运行，你知道，200万次测试。它们基本上都是像素级的、对世界的重建。技术的演进真是令人惊叹。是的。NuRec太棒了。这就是为什么它如此关键。Cosmos也可以被引入，我们正在努力，添加Cosmos可以覆盖真正罕见的极端情况。它也可以用来增强NuRec。NuRec现在只是重建，如果你加上Cosmos，它可以改变背景，改变天气。是的。你可以提高分辨率。没错。是的。没错。正是如此。是的。这些技术的结合确实是革命性的。是的。这里可能发生过事故。嗯，他们真该弄一辆我们的车。是的。看看多漂亮。我们来了，自动驾驶进入旧金山。你知道，这个立交桥总是让我很焦虑，因为有很多不同的高速公路。如果你错过一个，你就完了。你会迟到大约45分钟。所以，能自动驾驶完成这个真是太棒了。太令人兴奋了。你说是十个摄像头。五个雷达。五个雷达。多少个超声波？十二个。十二个超声波。这个地方其实可能相当棘手。哇，这很好。因为基本上有很多遮挡。当你上高速公路时，你知道，有时车会停在那里，但直到你转弯才能看到它。所以你必须控制速度。嗯，我很熟悉这个出口。我经常来这里。你知道，人们低估了这是多么巨大的努力。是的。你必须制造芯片，制造计算机，甚至要制造功能安全、可靠的计算机。所以你有了芯片。你有了系统本身，系统。它内置了功能安全设计。软件栈，DriveOS。软件。然后，你知道。即使是经典技术栈的每一个组件你都需要考虑。所以，基本上是L2++级别。我们要变道了，看看我们怎么做。看，我们就是这样变道的。是的，太棒了。非常像人类。是的。太像人类了，对吧？是的。很难用代码描述。没错。大多数基于规则的系统会让车完全超过我们。是的，是的。然后我们做一个有意识的、有意识的动作。没错。这就是我们所说的单阶段速度适应，我们试图加速或减速，试图进入间隙，然后开始横向移动。但这显然不是人类的方式。你知道，阿尔帕马约只是在模仿其他所有人做的事。所以，太神奇了。你知道，当然车里有AI，但我们的AI甚至从策划收集数据的AI就开始了。是的。所以。好吧，这是个有趣的场景。看看我们怎么处理。哦，我们从这里检测到，在小小的变道区域内。这其实很有道理，因为一旦你穿过街道。没错。一旦你穿过街道。是的。那不是很。是的。有足够的距离停车。没错。我们直行。是的。这会很有趣。所以，我们会超过他们，然后再变道回来，我想。但这就像整条街——这其实有道理。看看我们怎么做。好的。右边被堵住了。是的。右边已经被堵住了。所以它预见到了这一点。所以它把我们移到了中间车道。是的。是的。哦，看这个。这太棒了。所以这会很棘手。看看。我们正要超过一辆公交车。对。好的。太棒了。哇。动作如此优雅。是的。比人 。它自信、冷静、安全。所以我们车里有所有的AI模型。我们还有用于策划数据的AI模型。对。我们不想要一大堆浪费的。是的。同样的事情。你知道，用同样的事情重新测试。所以你在寻找超出分布范围的东西。你在寻找类似的情况。这个的术语叫做功能场景树。如果你想想，它基本上就是一堆节点，这些节点是，你知道，我们需要覆盖的部分。然后我们有一个AI工具来策划数据，填充这些不同的节点。然后当我们在道路测试中看到一个新场景出现时，我们就会，你知道，在这个功能场景树上再创建一层或一个节点。是的。好的。所以这叫做功能场景树。所以这是一辆双排停放的车辆。这真是。太棒了。基本上，你知道。我们刚刚，是的，我们确实越线了。但这样做是完全安全的。是的。是的。你会看到，有时会有一些犹豫。比如我们肯定，我会说，比普通司机更保守，因为，例如，我们肯定会在每个停车标志前至少完全停一下，这显然是正确做法。但是，是的。所以我们有数据。我们有AI模型，用于你的功能场景树。你有用于合成数据生成的AI模型。没错。也许——我们肯定有用于NuRec的AI模型。对。我们有。是的，用于驾驶日志重建。对，是的。当你做工程时，只有基础牢固，你才能不断进步，不断增加更多能力。是的，基础牢固。你知道，当你，你在投资所有这些新能力时，但只有确保没有退步，你才能有信心去做。对。对。这确实是我们经典技术栈最强大的地方之一。它非常安全。是的。每一次迭代，每一个月，你都非常有信心将其部署到路上，你知道，在评估系统、验证系统、方法论和护栏之间。没错。它总是安全的。从今以后，我们的速度将非常高。是的。所以这是一个居民区。在这个区域，正如我所说，公交车是个挑战。然后有很多随机停放的车辆，我们称之为DPV，双排停放的车辆，绕过它们行驶真的非常关键。这里有很多送货厢式车和卡车。没错，正是如此。周末好一些，但工作日，你知道，有很多。DPV绕行也很难。很难做好。但模型再次在学习，你知道，人类是怎么做的，这很棒。但即使有时人类也会犯错。嗯。如果你做出错误的决定，你最终会进入对向车道。你知道，有时你会被困住，这就是为什么我认为我们目前的实现仍然稍微偏向保守，因为做出错误决定的代价太高了。是的。安全第一。安全。绝对是第一位的。没错。对于L2++模型来说，被困住基本上是可以接受的。是的。你知道，所以，是的，我认为没关系。是的。没错。车里有人类。没错。是的。是的。我们获得了最高的NCAP评级，这真是太棒了。我知道，是的。第一次就做到了。难以置信。没错。因为这也是正确的决定。是的，因为是对向车道。你知道，我们如此耐心地等待，人类可能会稍微快一点，但我觉得我们——我不这么认为。好吧。我觉得我也会这么做。NCAP 2025非常严格。欧洲NCAP的标准非常高。是的。然后我们得了高分。这太疯狂了。太令人兴奋了。我知道我们会通过，但获得最高分真是不可思议。是的。这又是多年辛勤工作的成果。是的。这也非常重要，因为所有这些工作。但那是我们的安全护栏。没错。将转化为L3和L4的能力。不错，不错。哦，太好了。那是个好动作。哦，是的。是的。好的。哦，好动作。非常好。是的。有道理。是的。所以有些人就直接开过小坑洼。我个人会绕开它。我认为这方面有很多工作要做，但这是一个非常重要的功能，尤其是在高速公路上，对吧？是的。如果你不避开坑洼——但是，但是我们的司机怎么做？我们的司机？是的。哦，你是说刚才它可能会。是的。我想知道他