行业研究公司研究宏观策略财报招股书会议纪要海南封关低空经济 DeepSeek AIGC 大模型

基于FPGA的多传感器融合技术

交运设备2026-01-06-AMD王***

AI智能总结

多传感器融合的定义、优势与挑战

L2+/L2++级别自动驾驶事故分析：通过分析多起事故案例，指出单一传感器（如摄像头或雷达）的局限性，例如双传感器失效、摄像头检测延迟、融合策略不当等，强调多传感器融合的必要性。
多传感器融合的定义：传感器融合是域控制器的一部分，通过汇集雷达、激光雷达和摄像头等多个传感器的输入，形成车辆周围环境的单一模型或图像，提升模型的精确性和决策能力。
多传感器融合的好处：
- 提高安全性：通过传感器冗余增强系统可靠性。
- 提升模型准确性和决策速度：融合数据生成更精确的环境模型。
- 提高系统完整性：提升数据质量、可靠性和稳健性。
- 增加视野覆盖面积：估计未测量状态。
传感器融合是自动驾驶的必然趋势：多传感器融合已成为自动驾驶技术发展的必然方向。

多传感器融合面临的挑战

安全的挑战：要求低延迟处理和快速反应，同时需应对冗余失效和数据断路问题（如L3级DDT反馈需求）。
复杂性的挑战：涉及多传感器（解决IO、传输协议、数据格式、时钟等多样性）和多处理器（解决计算能力、热量、任务调度、互连等问题）的集成。
效率的挑战：需要高带宽处理大量数据输入输出，同时融合算法需支持多种神经网络和ML/AI技术。

FPGA应对多传感器融合的技术优势

FPGA高吞吐、多种类协议、带宽的优势：
- 通过NoC和DDRMC带宽计算（如34.1GB/s和34.56GB/s），展示FPGA在处理高带宽数据传输方面的能力。
FPGA低延迟的优势：
- 通过自定义指令、片上内存、丰富IO和灵活性实现高效处理。
- 高并行性（数据并行、任务并行、超标量执行）和管道并行性，实现低延迟。
FPGA支持多种类数据融合的优势：
- 灵活性支持演进中的融合算法（ML/AI），适应不同融合模式。
- 原始数据融合（结合多种传感器提升性能）需更多内存和带宽，FPGA的并行数据处理能力可解决此问题，关键在于感知结果的确定性而非算力大小。
FPGA的冗余安全与可靠性：
- 基于下一代7nm-Versal器件的硬件DEMO示例，展示灵活、可扩展的传感器集成和接口能力，支持多种传感器、数据类型和接口连接。

总结

多传感器融合是自动驾驶的必然趋势，但面临安全、复杂性和效率等挑战。
FPGA在应对多传感器融合方面具有明显优势，包括高吞吐、多种类协议带宽、低延迟、支持多种类数据融合以及良好的冗余安全与可靠性。

感谢您参加盖世汽车主办的2022汽车芯片产业发展云论坛，同时也非常感谢您参与及转发我们直播链接活动。经演讲嘉宾授权许可，部分演讲资料可供您个人学习使用，但禁止将上述资料在公开渠道（包括但不限于媒体渠道、文章、报告等）中发布或引用。上述资料的著作权归演讲嘉宾本人及其公司所有，盖世汽车和著作权人均有权对使用上述资料的行为进行监督、追责。本文件(及任何附件)可能载有机密和/或受法律保护的内容，并仅供盖世汽车指定接收人（或指定接收人授权的接收人）使用。任何未经盖世汽车同意或授权而对该文件所载内容进行使用、披露、分发、复制的行为均被严格禁止。如您错误地接收本文件，请立即通知发送人并立即将本文件及其所有备份（及任何附件）删除及销毁。基于FPGA的多传感器融合技术 AMD大中华区汽车事业部系统架构总工毛广辉主题目录 •多传感器融合的定义、优势、挑战 •历史事件分析•什么是多传感器融合•多传感器融合的好处•多传感器融合的趋势•多传感器融合的挑战 •FPGA应对多传感器融合的技术优势•总结多传感器融合的定义、优势、挑战 L2+/L2++~级别自动驾驶事故分析 •Analysis: Dual Failed both Cameraand Radar Analysis: Camera not detectedobjects on time Analysis: Failed by poor Cameradetection and fusion strategy •Vehicle Speed: 110km/h•Obstacle: Large tracks in staticstatus•Radar: Filters out the signal of staticobjects•Camera: Blinding due to reflectionwith white body which cannot beendetected Vehicle Speed: 100km/hAEB: limited between 8 and 85km/hEnvironment: Construction areaCamera: Training datasets notenough for static obstacles (such asroadblocks, warning triangle, etc.)Radar: Filters out the signal of staticobjects Vehicle Speed: 120km/hRadar: AEB detected truck, butspeed beyond AEB range, did nottake overCamera: Did not detect the specialsharped truckFusion use camera as main, radar asauxiliary, but Radar did not fix thepoor camera detection. 什么是多传感器融合？ •多传感器融合的定义： •传感器融合是域控制器的一部分。这是一种将多个传感器（包括雷达、激光雷达和摄像头）的输入汇集在一起的能力，以形成车辆周围环境的单一模型或图像。结果模型更精确，因为它平衡了不同传感器的强度。然后，车辆系统可以使用通过传感器融合提供的信息来支持更智能的行动。多传感器融合的好处 •传感器融合可提供以下好处：•通过传感器冗余提高安全性•提高结果模型的准确性和决策速度•提高系统完整性提高了数据质量、数据可靠性和稳健性•增加视野的覆盖面积，未测量状态的估计传感器融合是自动驾驶的必然趋势多传感器融合面临的挑战 •安全的挑战 •低延迟,需要更快的处理及更准确的反应•冗余性, L3会需要DDT反馈，同时要应对数据断路的失效 •复杂性的挑战 •多传感器，需要解决IOs、传输协议、数据格式、时钟等的多样性•多处理器，需要解决计算能力、热量、任务调度、互连等问题 •效率的挑战 •带宽，将需要高输出来解决大量的数据输入和输出•融合，具有灵活性以支持使用ML/AI技术的不同神经网络的多种融合类型 FPGA应对多传感器融合的技术优势 FPGA高吞吐、多种类协议、带宽的优势 NoC and DDRMC Bandwidth Calculations Each DDRMC will have a maximumbandwidth of 34.1GB/s (LPDDR4 4266) Each NoC Lane is independent TX and RXinterface (34.56GB/s) TX1080MHz * 128bits = 138.24Gb/s138.24/8 =17.28GB/s RX1080MHz * 128bits = 138.24Gb/s138.24/8 =17.28GB/s Thin Horizontal NoC (HNoC) 2 Lanes Vertical NoC (VNoC) 2 Lanes per column thisscales with device size Thick Horizontal NoC(HNoC) 4 Lanes FPGA低延迟的优势 •高效：自定义指令、自定义片上内存、丰富的IO、灵活性。 •更高的并行性可实现低延迟：数据并行性（SIMD）、任务并行性（多条管道）和超标量执行（多条独立指令并行执行）可与管道并行性一起使用，以实现最佳性能。 FPGA支持多种类数据融合的优势 •融合算法的ML正在演进中，并快速变化以与融合模式相结合，Xilinx的灵活性可以支持不同类型的融合方法，具体定义如下表所示。 •然而，原始数据融合变得越来越流行，因为它可以提供优异的性能，从而能够结合各种类型的传感器来提高算法性能并降低处理数据的速率。但它需要更多的内存和带宽，这是FPGA的并行数据处理所能解决的。这不是关于算力大小，而是关于感知结果的确定性。 FPGA的冗余安全与可靠性基于下一代7nm-Versal器件的硬件DEMO示例 •灵活、可扩展的传感器集成和接口，可以集成任何传感器、任何数据类型DDR、网络、CPU连接的任何接口。总结 •多传感器融合是必然趋势、同时面临挑战•FPGA应对多传感器优势明显•FPGA具备高吞吐、多种类协议、带宽的优势•FPGA具备低延迟的优势•FPGA具备支持多种类数据融合的优势•FPGA具备良好的冗余安全与可靠性谢谢大家！

点击免费查看完整报告