现阶段，智能辅助驾驶正在不断往高阶自动驾驶迈进，基于多传感器融合的感知方案已经成为了主流方案。

由于多传感器融合可以提高自动驾驶系统的安全冗余性、数据质量、数据可靠性和稳健性等，目前包括小鹏、蔚来、长城等都是采用“多传感器融合”方案实现自动驾驶。

不过，多传感器融合方案还面临着安全性、系统复杂性、执行效率等一系列挑战。尤其是域控制器架构的出现，自动驾驶域控制器通常会连接摄像头、激光雷达、毫米波雷达等传感器，并且将采集到的大量原始数据直接传输到中央处理器进行融合处理和计算，这对于数据处理的精度、执行效率等要求更高。

多位业内人士表示，伴随着越来越多传感器的使用，整个融合系统的架构将变得更为复杂，不仅需要基于单传感器的物体检测、语义分割、跟踪等基础技能，还需要熟悉多传感器的时空标定、融合方法等。

与此同时，支持多传感器融合的芯片平台也面临着高计算量、高带宽、更快速的数据处理速度、高吞吐等挑战。

那么，在这样的背景之下，哪种芯片方案更加符合智能辅助驾驶及L3及以上自动驾驶的多传感器融合系统？ASIC、GPU和FPGA等芯片方案，谁才更是解决多传感器融合问题的最佳之选？

多传感器融合面临的挑战

众所周知，ADAS系统最为常用的传感器有摄像头、毫米波雷达、超声波雷达等，但各类传感器在物体探测距离、识别分类能力、抗恶劣天气等特性各有优劣势以及局限性。

比如摄像头在成本、物体高度与宽度测量精准度、车道线识别、行人识别准确度等方面具备优势，但却存在容易受外界光照环境影响、作用距离和测距精度不如毫米波雷达等缺点。

因此，多传感器融合成为了ADAS及自动驾驶的主流趋势。例如长城魏牌城市NOH系统搭载了2颗激光雷达 5颗毫米波雷达 12颗超声波雷达 12颗摄像头（包含4颗百万级像素环视摄像头、4颗百万级像素侧视摄像头、4颗800万像素感知摄像头）等31个感知传感器。

通过多传感器的融合使用，自动驾驶系统可以得到一个更加精确的结果模型，进而提高自动驾驶系统的安全性和可靠性。

不过，伴随着ADAS往L3及以上自动驾驶的演进，传感器的数量变多、类型变得更加丰富，且各个传感器的接口都不同，多传感器融合系统也变得极其复杂。对此，AMD—Xilinx大中华区汽车业务系统架构工程师毛广辉指出，多传感器融合还面临着三大挑战：

一是安全性方面，主要体现在低延迟和冗余性两大方面。其中低延时主要体现在多传感器融合系统需要更快地处理及更准确的反应。比如在高速道路上行驶，500毫秒的延迟就可能产生十几米的制动距离，这对驾驶员来说是致命的；而冗余性则体现在L3及以上的自动驾驶系统需要DDT（动态驾驶任务）反馈，还要应对数据断路的失效。

二是多样性方面，多传感器融合系统需要解决传输协议、数据格式和时钟等带来的多样性问题，同时还面临着采集和数据源级别的数据多模态性。

三是效率问题，因为多传感器的多路输入输出和大量数据的带宽将引发效率瓶颈，这需要处理器平台具备高吞吐的特性。

在这样的情况下，用于多传感器融合的处理器平台需要具备更强大的计算能力、更高吞吐能力以及处理海量不同来源和结构的数据等能力，传统的MCU已经难以满足自动驾驶汽车的计算需求。

目前，市场上主流的智能辅助驾驶AI芯片主要有特斯拉（不外供）、英伟达、TI、地平线等。其中，定制批量生产的低功耗、低成本的专用自动驾驶AI芯片（ASIC） CPU方案已经成为了主流趋势。

然而，在面对L3及以上自动驾驶系统时，多传感器融合系统不仅需要处理器（芯片）具备高吞吐的特性，还需要处理器在处理过程中同时具备低延迟、高精度的特性。

毛广辉直言，与GPU、ASIC相比，FPGA具备高度自适应性，并且同时具备高吞吐、低时延、高精度的优点，能够很好地满足L3及以上自动驾驶的功能要求。

FPGA是多传感器融合的重要手段

多位业内人士向《高工智能汽车》透露，多传感器数据融合、人工智能算法等技术都对智能驾驶域控制器的接口和算力等性能有着更高的要求。因此，智能驾驶域控制器的SoC芯片内部需要具备AI加速单元、通用计算单元、控制单元、图像信号处理单元（ISP）、传感器接口丰富等特性。

目前，市场上主流的自动驾驶芯片方案有：一是CPU GPU ASIC的芯片架构，代表企业有英伟达、特斯拉、高通；二是CPU ASIC的芯片架构，代表企业有Mobileye、华为、地平线等；三是以AMD-Xilinx为代表的CPU FPGA的芯片架构。

单纯从多传感器融合的角度来看，基于以FPGA的硬件架构为基础的自适应计算平台，可以同时满足高带宽、低延迟、易于部署、灵活可扩展的核心诉求，能够有效解决多传感器融合所面临的种种难题和挑战，助力加速实现高等级自动驾驶。

一是FPGA具备高吞吐、多种协议的特性，能够很好地解决多传感器融合系统多路输入输出和大量数据的带宽瓶颈问题。据了解，AMD—Xilinx的7nm FPGA器件外部传输带宽高达34.1GB/s，器件内部带宽高达34.56GB/s，在实现高吞吐的同时还可以满足低延迟的需求。

二是FPGA具备低延时的优势，解决了多传感器融合系统需要更快的反馈结果，从而提高系统效率。由于FPGA内部的硬件资源可编程，所以可以实现数据的全并行和流水处理。相关实测数据显示，以8MP 30FPS视觉处理为例，在FPGA内部的处理可以做到行缓存，远小于一帧延迟。同时这种基于FPGA全硬件逻辑的视频链路处理也可以实现各相机之间微秒级的高精度同步对齐。

三是FPGA具备良好的冗余安全与可靠性，解决了数据断路和功能失效的风险，从而提高安全性。

不可否认，在L3及以上的自动驾驶系统当中，无论是自动刹车还是高速行驶等场景，都要求处理器必须同时具备高清度、低延时等特性。

“FPGA同时具备上述几大特性，将是实现高阶自动驾驶的重要手段之一。”毛广辉表示，AMD-Xilinx的FPGA器件擅长处理各种传感器的复杂数据，其本身就内置了数据存储处理单元，在提供大规模数据并行处理的同时，提供独立接收通道（不限通道数量及接口种类）进行优化处理，可以有效优化复杂的前后处理，并且有效区分有用点云和无用点。

另外，需要特别提及的是，当前大多数传感器融合方式主要发生在“目标级”的后处理阶段。在这种模式下，物体数据的收集、处理、融合和分类都发生在传感器层面。如此一来，在数据综合处理前，单个传感器就会对信息进行预先过滤，使得自动驾驶决策所需的背景信息被剔除。

业内人士一致认为，未来多传感器“前融合”将是必然趋势。基于时空同步的原理，让摄像头、毫米波雷达等传感器感知到的同一环境信息的原始数据做融合，统一生成一个置信水平更高的感知结果，降低了整个感知架构的复杂度和系统延迟性，并且大大提高了感知系统的稳健性。

但是，实现这一切的前提是计算芯片需要具备巨大数据量的处理能力、足够快的计算能力等特性。毛广辉表示，FPGA具备其他芯片解决方案无法比拟的优势，不仅能够实现多传感器的同步和融合，还支持功能的持续迭代和传感器分辨率的持续提升，目前包括图森未来、Auto.X、小马智行等厂商均选用了AMD-Xilinx的FPGA方案。

很显然，无论是从多传感器融合的高吞吐、低延迟等需求来看，还是从未来发展的必然趋势看，FPGA都将是多传感器融合的重要手段之一。