本文来自智驾最前沿微信公众号。
由于传感器的成本从15美元到1美元不等，汽车制造商想知道车辆完全自动驾驶需要多少传感器。
这些传感器用于收集有关周围环境的数据，它们包括图像、激光雷达、雷达、超声波和热传感器。一种类型的传感器是不够的，因为每种传感器都有其局限性。这是传感器融合背后的关键驱动力，它结合了多种类型的传感器以实现安全的自动驾驶。
所有L2级或更高级别的车辆都依靠传感器来“看到”周围环境并执行车道居中、自适应巡航控制、紧急制动和盲点警告等任务。到目前为止，原始设备制造商正在采用非常不同的设计和部署方法。
2022年5月，梅赛德斯奔驰在德国推出了首款能够实现L3级自动驾驶的车辆。L3级自动驾驶是S级和EQS的一个选项，计划于2024年在美国推出。
据该公司称，基于驾驶辅助套件（雷达和摄像头）的DRIVE PILOT增加了新的传感器，包括激光雷达，前窗的高级立体摄像头和后窗的多功能摄像头。还增加了麦克风（特别是用于检测紧急车辆）和前驾驶室中的湿度传感器。总共安装了30个传感器，以捕获安全自动驾驶所需的数据。
特斯拉正在走一条不同的道路。2021年，特斯拉宣布，Model 3和Model Y将实施特斯拉视觉摄像头自动驾驶技术战略，2022年将实施于Model S和Model X。该公司还决定拆除超声波传感器。
传感器局限性
当今自动驾驶设计面临的挑战之一是不同传感器的局限性。为了实现安全的自动驾驶，可能需要传感器融合。关键问题不仅是传感器的数量、类型和部署位置，还在于AI/ML技术应如何与传感器交互以分析数据以实现最佳驾驶决策。
为了克服传感器的限制，可能需要传感器融合，将多个传感器组合在一起用于自动驾驶，以实现最佳性能和安全性。
“自动驾驶广泛使用人工智能技术，”Rambus安全IP技术产品经理Thierry Kouthon说。“自动驾驶，甚至是入门级的ADAS功能，都要求车辆表现出与人类驾驶员相当或更好的环境意识水平。首先，车辆必须识别其他车辆、行人和路边基础设施，并确定它们的正确位置。这需要AI深度学习技术能够很好地解决模式识别能力。视觉模式识别是车辆大量使用的高级深度学习领域。此外，车辆必须能够始终计算其最佳轨迹和速度。这需要人工智能也能很好地解决路线规划能力。这样，激光雷达和雷达就可以提供距离信息，这些信息对于正确重建车辆环境至关重要。”
传感器融合结合了来自不同传感器的信息以更好地了解车辆环境，仍然是一个活跃的研究领域。
“每种类型的传感器都有局限性，”Kouthon说。“相机非常适合物体识别，但提供的距离信息很差，图像处理需要大量的计算资源。相比之下，激光雷达和雷达提供了出色的距离信息，但清晰度较差。此外，激光雷达在恶劣的天气条件下不能很好地工作。”
到底需要多少个传感器？
对于自动驾驶系统需要多少传感器的问题，没有简单的答案。原始设备制造商目前正试图解决这个问题。这里的其他考虑因素包括，例如，在开放道路上行驶的卡车和城市机器人出租车的需求非常不同。
“这是一个艰难的计算，因为每个汽车OEM都有自己的架构，通过提供更好的空间定位，更长的距离和高能见度，以及识别和分类物体的能力，然后区分各种物体，来保护车辆，”Cadence产品管理和营销总监Amit Kumar说。“这也取决于汽车制造商决定启用的自主性水平（对于示例，以提供广度）。简而言之，为了实现部分自主性，传感器的最小数量可以是4到8个各种类型的传感器。为了实现完全自主，今天使用了12+个传感器。”
Kumar指出，在特斯拉的案例中，有20个传感器（8个摄像头传感器加上12个3级或以下的超声波传感器），没有激光雷达或雷达。“该公司坚信计算机视觉，其传感器套件适用于L3 Autonomy。据媒体报道，特斯拉可能会引入雷达来改善自动驾驶。
Zoox已经实现了四个激光雷达传感器，以及摄像头和雷达传感器的组合。这是一款完全自动驾驶的车辆，内部没有驾驶员，目标是在地图清晰且易于理解的路线上运行。商业部署尚未开始，但很快就会有一个有限的用例（不像乘用车那么广泛）。
Nuro的自动驾驶送货车，美学并不那么重要，它使用带有四个传感器的360度摄像头系统，加上一个360度激光雷达传感器，四个雷达传感器和超声波传感器。
实施这些系统没有简单的公式。
“需要的传感器数量是组织可接受的风险水平的传感器数量，并且也取决于应用程序，”Synopsys汽车集团汽车软件与安全高级经理Chris Clark说。“如果正在开发机器人出租车，他们不仅需要道路安全的传感器，而且还需要车内的传感器来监控乘客在车内的行为，以确保乘客安全。在这种情况下，我们将处于一个人口众多、城市密度高的地区，该地区具有相当独特的特征，而不是用于高速公路驾驶的车辆，在那里你有更长的距离和更大的反应空间。在高速公路上，侵入道路的可能性较小。我不认为有一个固定的规则，必须拥有三种不同类型的传感器和三种不同的摄像头来覆盖所有自动驾驶汽车的不同角度。”
不过，有多少传感器将取决于该车辆将要解决的用例。
“在机器人出租车的例子中，必须使用激光雷达和常规相机，以及超声波或雷达，因为有太多的密度需要处理，”克拉克说。“此外，我们需要包括一个用于V2X的传感器，其中流入车辆的数据将与车辆在周围环境中看到的内容保持一致。在公路卡车运输解决方案中，将使用不同类型的传感器。超声波在高速公路上没有那么有益，除非我们正在做类似组队的事情，但这不是一个前瞻性的传感器。相反，它可能是前视和后视传感器，以便我们可以连接到所有团队资产。但是激光雷达和雷达变得更加重要，因为卡车在高速公路上行驶时必须考虑的距离和范围。
另一个考虑因素是所需的分析水平。“有这么多数据需要处理，我们必须决定其中有多少数据是重要的，”他说。“这就是传感器类型和功能变得有趣的地方。例如，如果激光雷达传感器可以在周期的早期进行局部分析，这将减少流回传感器融合以进行其他分析的数据量。减少数据量反过来又会降低整体计算能力和系统设计成本。否则，车辆将需要以整合计算环境或专注于传感器网格划分和分析的专用ECU的形式进行额外的处理。
成本始终是一个问题
传感器融合可能很昂贵。在早期，由多个单元组成的激光雷达系统的成本可能高达80000美元。高成本来自装置中的机械部件。今天，成本要低得多，一些制造商预计在未来的某个时候，它可能低至每单位200至300美元。新兴的热传感器技术将在几千美元左右。
总体而言，OEM厂商将继续面临降低传感器总部署成本的压力。使用更多的相机而不是激光雷达系统将有助于OEM降低制造成本。
“在城市环境中，安全的基本定义是消除所有可避免的碰撞，”西门子数字工业软件混合和虚拟系统副总裁David Fritz说。所需的最小传感器数量取决于用例。一些人认为，未来，智慧城市基础设施将变得复杂且无处不在，从而减少城市环境中对车载传感的需求。
车对车通信也可能对传感器产生影响。
“在这里，机载传感器的数量可能会减少，但我们还没有，”Fritz观察到。“此外，总会有一些情况，AV将不得不假设由于电源故障或其他停电而无法获得所有外部信息。因此，车辆上总是需要安装一些传感器——不仅适用于城市地区，也适用于农村地区。我们一直在研究的许多设计都需要车辆外部的八个摄像头和内部的几个摄像头。通过前面的两个摄像头，经过适当校准，我们可以实现低延迟、高分辨率的立体视觉，提供物体的深度范围，从而减少对雷达的需求。我们在车辆的前部、后部和两侧都这样做，以获得完整的360°视角。”
随着所有相机执行对象检测和分类，关键信息将被传递到中央计算系统以做出控制决策。
“如果基础设施或其他车辆信息可用，它将与来自车载传感器的信息融合，以生成更全面的3D视图，从而实现更好的决策，”Fritz说。“在内部，额外的摄像头用于驾驶员监控，并检测留下的物体等占用条件。可能增加一个低成本的雷达来处理恶劣天气情况，如大雾或下雨，是传感器套件的一个高级补充。我们最近没有看到大量使用激光雷达。在某些情况下，激光雷达性能会受到回波和反射的影响。最初，自动驾驶原型严重依赖激光雷达数据的GPU处理，但最近更智能的架构更倾向于高分辨率、高FPS摄像头，其分布式架构可以更好地优化整个系统的数据流。”
优化传感器融合可能很复杂。如何知道哪种组合能提供最佳性能？除了进行功能测试外，OEM还依靠Ansys和西门子等公司提供建模和仿真解决方案来测试各种传感器组合的结果，以实现最佳性能。
增强技术影响未来的传感器设计
智能基础设施中的V2X、5G、高级数字地图和GPS等增强技术将使车载传感器更少的自动驾驶成为可能。但要改进这些技术，自动驾驶将需要整个汽车行业的支持，以及智慧城市的发展。
“各种增强技术服务于不同的目的，”Arteris IP解决方案和业务开发副总裁Frank Schirrmeister指出。“开发人员经常将两者结合起来，以创建安全便捷的用户体验。例如，用于路径规划的地图信息数字孪生可以在能见度有限的条件下创造更安全的体验，以增强基于传感器信息的车内本地决策。V2V和V2X信息可以补充车内本地可用的信息，以做出安全决策，增加冗余并创建更多数据点作为安全决策的基础。”
此外，车联网有望在车辆和路边基础设施之间进行实时协作，这需要超可靠低延迟通信（URLLC）等技术。
“这些要求导致了各种人工智能技术在交通预测、5G资源分配、拥堵控制等方面的应用，”Kouthon说。“换句话说，人工智能可以优化和减少自动驾驶对网络基础设施的沉重影响。我们预计原始设备制造商将使用软件定义的汽车架构来构建自动驾驶汽车，其中ECU是虚拟化的，并通过无线方式进行更新。数字孪生技术对于在非常接近真实车辆的车辆云模拟上测试软件和更新至关重要。”
结论
最终实施时，L3级自动驾驶可能需要30+个传感器，或十几个摄像头，具体取决于OEM的架构。但是，关于哪种更安全，或者自动驾驶传感器系统是否会在城市环境中提供与在高速公路上驾驶相同水平的安全驾驶，目前还没有定论。
随着传感器成本在未来几年的下降，它可能会为新传感器打开大门，这些传感器可以添加到组合中以提高恶劣天气下的安全性。但是，OEM厂商可能需要很长时间才能对一定数量的传感器进行标准化，这些传感器被认为足以确保所有条件和极端情况下的安全性。
