2024自动驾驶行业报告-“端到端”渐行渐近

出品机构：甲子光年智库智库院长：宋涛报告撰写：翟惠宇发布时间：2024.07 *甲子光年智库分析师胡博文对本次报告撰写亦有贡献。 Part01发展背景：汽车智能化正加速普及P02 目录 Part02趋势辨析：端到端自动驾驶的价值 Part03厂商实践：技术路线的选择与践行P18 Part04未来展望：端到端的挑战与未来式P26 智能化水平已经成为国内汽车消费者最核心的购买因素之一。 p国内汽车工业在电动化和智能化领域的迅猛发展，正在重塑消费者的购车偏好，消费者对于自动驾驶技术、智能座舱等高端智能化功能的兴趣日益浓厚。 p智能化在购车决策中的重要性日益凸显，这也促使众多汽车制造商加快了智能化技术的研发和工程投入；继续航里程和用车成本之后，智能化已成为新能源汽车竞争的主要领域，未能跟上智能化步伐的汽车品牌可能会逐渐失去市场竞争力。 智能驾驶渗透提速，“智能化”竞争进入白热化。 pNOA技术的渗透率正迅速提升：自2022年“量产元年”起，高速NOA和城区NOA的普及率显著增长。目前，高速NOA的渗透率已超10%，城市NOA也超过了3%。p在众多厂商的推动下，重视“智能化”的汽车越来越受消费者青睐，尤其是那些配备自动泊车和L2.5以上级别NOA功能的车型；这些车型已成为车企竞争的焦点，预示着未来缺乏NOA功能的车辆可能失去竞争力。p自动驾驶功能的普及，得益于车企的持续投入和消费者对这些技术的接受度，这已成为汽车市场竞争力的关键。 自动驾驶科技公司排队冲击IPO，智驾加速普及，行业正在苏醒。 p尽管一级市场融资受到整体投融资环境的影响，但自动驾驶公司通过不断优化核心软硬件产品，向更务实的L2辅助驾驶转型，加速了智能驾驶的商业化进程，众多企业开始准备IPO。 p同时，随着智能驾驶功能的普及，消费者对其正面认知逐渐增强，乘用车自动驾驶市场稳步增长，这促使主机厂与智能驾驶解决方案供应商之间的合作更加紧密，进一步推动了智能驾驶技术的商业化应用。 订单需求扩张 智驾量产车上路，数据飞轮已经转了起来。 p自BEV（鸟瞰视图）结合Transformer架构成为自动驾驶感知领域的主要发展方向以来，数据驱动在其中扮演的角色愈发关键；众多汽车制造商和自动驾驶解决方案提供商都已构建数据闭环系统，以支持自动驾驶系统的模型训练和持续迭代。 p目前，配备高级智能驾驶功能的汽车已实现规模化部署，这为自动驾驶算法的持续创新和优化提供了坚实的数据支撑。 量产项目提供海量车端大数据： 自动驾驶技术发展与普及的背后，是底层AI技术的进步。 pAI技术的应用场景众多，自动驾驶无疑是其中的核心议题；它不仅代表了技术应用的前沿，也是产学两界AI专家不懈追求、共同攻克的领域。 p自动驾驶行业的发展与AI技术的每次飞跃紧密相连：从卷积神经网络（CNN）、循环神经网络（RNN）、生成对抗网络（GAN）到Transformer，每一次技术革新背后，都伴随着深度学习等基础AI技术的突破性进展。正是AI技术的持续进步，构成了自动驾驶技术不断演进和成熟的基础动力。 AI大模型技术已经在自动驾驶领域得到广泛应用。 pTransformer大模型技术在自动驾驶领域并非新近出现，其实早在ChatGPT之前，这一技术就已被应用于自动驾驶的感知任务。 p特斯拉在2021年就展示了其基于BEV视角结合Transformer的感知方案，此后，国内厂商纷纷跟进并进行创新，这间接加速了2022年之后高阶智能驾驶方案的快速落地。p从云端的模型训练到车端的模型部署，大模型技术已被广泛应用于数据处理、模型融合与优化等多个环节，显著提高了模型训练的效率和系统的整体性能。 数据自动标注 Part01发展背景：汽车智能化正加速普及 目录 Part02创新思路：端到端自动驾驶的价值P09 Part03厂商实践：技术路线的选择与践行P18 Part04未来展望：端到端的挑战与未来式P26 传统模块化自动驾驶存在信息传递损耗、计算效率低下等问题。 p传统自动驾驶系统已经发展得相当成熟，通常采用模块化串联的部署方式：其核心模块涵盖感知、定位、预测、决策和控制等，每个主要模块及其子模块都承担着特定的职责，且每个模块的输入通常来源于前一模块的输出。 p模块化设计的优势在于能够将复杂的自动驾驶任务分解为更小、更易于管理的子任务，同时便于问题的追踪和定位；然而，随着自动驾驶技术向数据驱动的方向发展，模块化设计的某些局限性也逐渐显现，例如信息传递过程中可能出现的损耗、计算延迟以及累积误差等问题。 从系统架构的变化趋势上看，自动驾驶系统模块是在不断融合的。 p模块化自动驾驶的核心在于不同子模型在各个模块中的嵌套与协同工作。然而，随着Transformer架构等先进AI技术的发展，模型间的界限正逐渐变得模糊。原本独立的子任务模型正逐步被更大规模的神经网络模型所取代，特别是在感知模块，BEV结合Transformer方案的广泛应用预示着数据驱动的深度学习神经网络正日趋成熟。 p从架构的角度来看，随着模型融合的趋势，自动驾驶系统的终极形态很可能是OneModel，即一个狭义上的端到端神经网络模型。 端到端路线为自动驾驶进一步突破提供了一种可能性。 p随着感知、预测和决策等关键模块逐渐实现神经网络化，端到端自动驾驶的路径已经清晰可见，为自动驾驶技术向L4级别无人驾驶的迈进提供了广阔的想象空间。 p端到端自动驾驶神经网络的实现将带来一系列优势：它将完全基于数据驱动进行全局任务优化，拥有更简洁的系统架构，更高的计算效率以及更强的泛化能力。然而，它也面临着对算力和数据的巨大需求，以及尚未解决的黑盒问题和幻觉问题，这些问题需要随着技术的进步而逐步克服。 更强的泛化性 •具备零样本学习能力，在未知场景仍可正确决策 完全由数据驱动 •由数据驱动的方式来解决自动驾驶长尾问题•更好、更快的纠错能力 避免累计误差 •避免上游模块错误的过度传导 更好的计算效率 •模型集成统一，减少模块间的信息延迟和冗余，提升计算效率 基于统一的神经网络，端到端的核心是信息的无损传递。 p自动驾驶领域尚未就“端到端”概念达成统一认识。一般而言，端到端自动驾驶指的是从原始传感器数据输入直接到控制指令输出的连续学习与决策过程，过程中不涉及任何显式的中间表示或人为设计的模块。 p尽管端到端自动驾驶的具体定义仍存在一定的模糊性，但其核心理念是避免信息在传递过程中的损耗。 融合趋势下，“端到端”从感知走向决策，再走向联合一体化。 p特斯拉FSDV12的卓越性能令业界观察家印象深刻，它确实摒弃了之前FSD方案中多年积累的代码，但其端到端方案的成功也离不开其在过去十年在人工智能和智能驾驶领域的深厚积累。 p端到端自动驾驶技术的发展遵循着渐进的路径：目前，BEV+OCC+Transformer已经实现了感知模块的端到端架构，决策模块也在逐步从依赖手写规则向基于深度学习的模式转变，最终目标是实现模块化联合与单一模型的端到端自动驾驶。 瞄准“全局最优”，端到端路线的提出有望有效缓解模块化架构的弊端。 p模块化自动驾驶系统面临信息丢失、计算效率低、累积误差以及维护成本等问题，这些问题难以回避，需要新的思路去解决。 p端到端自动驾驶通过将传感器收集到的全面信息作为输入，在单一网络中直接生成车辆的控制指令或运动规划。这种设计使得整个系统针对最终目标进行优化，而非仅仅针对某个独立的子任务，从而实现自动驾驶性能的全局最优化。 图：端到端自动驾驶的特点与优势 •不仅感知模块，决策规划与控制模块也由数据驱动，实现全栈数据驱动•无需或仅需少量人工编码、手写规则，简化开发流程•提升数据规模与质量能够显著提升产品性能，不断提升系统的能力上限 1数据驱动 •端到端是一体化架构，为汽车行驶的全局任务为统一目标联合训练•避免模块化的单独优化•不需要通过频繁的patch和参数调整修正 2全局最优 •一体化的模型结构能够减少信息传递的延迟，加快系统反应•消除各模块之间信息传递的误差累积，全栈神经网络的上下层之间可以做到全量信息传递 3消除误差 模仿学习与强化学习是端到端自动驾驶的主要训练方法。 p模仿学习（ImitationLearning）和强化学习（ReinforcementLearning）是当前用于训练端到端神经网络的两种主要方法。 p模仿学习主要通过逆最优控制（InverseOptimalControl）和行为克隆（Behavior Cloning）来实现，其核心理念是让智能体通过模仿专家的行为来学习最优策略。而强化学习则是一种通过试错来学习的领域，其中奖励函数的设计是一个关键挑战。 各类基础模型有望为自动驾驶带来新维度上的能力。 p大型语言模型、视觉模型（如世界模型）、以及多模态大型模型等基础模型展现出了强大的能力，并且这些能力正在自动驾驶技术的融合应用中正在被积极开发。 p这些基础模型通过预训练获得了推理能力和丰富的知识，能够升级传统的基于规则的if-else系统。出色的泛化能力能够应对自动驾驶技术发展中的挑战，提升在感知、预测、规划等关键领域的性能，升级自动驾驶仿真和测试环节的技术手段。 大语言模型（LLM） •推理和规划：LLM利用其在逻辑推理、代码生成和翻译方面的专长，为自动驾驶的路径规划和决策制定提供支持；•用户交互：通过理解自然语言并执行用户指令，LLM使智能驾驶系统更加用户友好，实现个性化体验；•常识性驾驶知识：LLM的预训练能力使其能够理解和应用驾驶常识，可能替代传统的基于规则的系统。 大视觉模型（VFM） •目标检测和跟踪：VFM在3D物体检测和分割方面的能力，对于自动驾驶的感知系统升级至关重要；•仿真和测试：VFM的视频生成能力，为创建逼真的驾驶场景提供了支持，这对于自动驾驶系统的安全性和可靠性提升有极大潜力。 多模态大模型（MFM） •视觉理解与空间推理：MFM结合了视觉和语言信息，展现出卓越的视觉理解和空间推理能力，对自动驾驶系统的决策过程至关重要；•综合感知与预测：MFM通过整合视觉和语言数据，提高了对环境的感知精度和对其他交通参与者行为的预测准确性。 Part01发展背景：汽车智能化正加速普及 目录 Part02创新思路：端到端自动驾驶的价值 Part03厂商实践：技术路线的选择与践行P18 Part04未来展望：端到端的挑战与未来式P26 端到端自动驾驶部分厂商 p端到端自动驾驶正迅速成为自动驾驶行业的新焦点，吸引了多种类型的参与者投身于这一路线，涵盖了车企、人工智能企业、自动驾驶技术公司、机器人公司以及自动驾驶芯片制造商。 p随着对“端到端”理念的共识逐步建立，预计将有更多的企业加入这一行列，各自发挥专长，共同推动端到端自动驾驶技术的繁荣发展。 端到端玩家简析-特斯拉 p特斯拉无疑是电动汽车和自动驾驶行业的领军者，它已于2024年1月向北美用户正式推送FSDV12，成为首家在量产车型上实现端到端自动驾驶落地的公司。 pFSDV12在复杂场景下展现了卓越的泛化能力，且其驾驶风格不再局限于传统的规则遵循，而是变得更加灵活，类似于经验丰富的驾驶员，能够根据实际情况做出适应性调整。 p特斯拉在端到端自动驾驶算法领域的领先地位，得益于在FSD真实里程积累和超大规模算力投入方面的深厚基础，这也是特斯拉最大的竞争优势。 *该数据仍然在持续、快速上涨，赋能FSD的迭代更新。 端到端玩家简析-Wayve p成立于2017年的Wayve，是一家位于英国伦敦的自动驾驶技术公司，以其创新的端到端机器学习技术而著称，专注于开发具有高度适应性和可扩展性的端到端自动驾驶系统。 pWayve在端到端自动驾驶技术领域取得了显著进展，先后推出了大型语言模型LINGO-1/2，视觉生成模型GAIA-1，以及专为高级自动驾驶仿真训练和测试而设计的PRISM-1。 端到端玩家简析-元戎启行 p元戎启行于2024年北京车展上隆重推出了