Invisible for both Camera and LiDAR: Security of Multi-Sensor Fusion based Perception in Autonomous

一、论文信息

标题：Invisible for both Camera and LiDAR: Security of Multi-Sensor Fusion based Perception in Autonomous

作者：Yulong Cao，Ningfei Wang， Chaowei Xiao，Dawei Yang， Jin Fang， Ruigang Yang， Qi Alfred Chen， Mingyan Liu，Bo Li

单位：University of California，University of Michigan， NVIDIA Research， Arizona State University， Baidu Research and National Engineering Laboratory of Deep Technology and Application， University of Illinois

会议：S&P 2021

二、MSF（Multi-sensor Fusion）原理

在基于MSF的自动驾驶感知中，最终的目标检测结果是通过融合摄像机和激光雷达等多个感知源获得的，目标是利用它们的优势，弥补它们的劣势，达到整体上比单一感知源更高的准确性和鲁棒性。例如，激光雷达是一种基于测距的传感器，与相机相比，它更难捕捉物体的纹理信息(如颜色)。另一方面，相机图像不能直接提供物体的深度信息，这可以被激光雷达克服。因此，可以设计一种MSF算法，利用来自LiDAR点云的深度信息和来自相机图像的纹理信息，实现比单独使用相机或LiDAR更高的目标检测性能。为了实现这样的整体更高的准确性和稳健性，基本的设计假设是，通常存在至少一个来源，可以提供正确的结果。

三、主要内容

文章首次对基于 MSF 的自动驾驶车辆系统 (AD) 感知的安全性进行研究，推翻其假设，即当两个数据来源都不可靠时，MSF算法失效。论文主要内容在生成一个对抗样本，使得来自摄像头和雷达的数据同时失效。
• 文章成功地设计了一个物理世界中的对抗样本攻击，目标是生成对抗 3D 物体，从而诱导自动驾驶汽车无法通过传感器检测到它，从而撞向它；
• 采用基于优化的方法，解决两个主要的设计挑战：不可区分的目标摄像头和激光雷达传感系统，以及激光雷达使用的不可区分单元级聚合特性。
• 在真实驾驶场景中评估了具有代表性的开源工业级 MSF 算法，文章提出的攻击在不同的对象类型和 MSF 算法中获得了超过 91% 的正确率，且具有位置的高鲁棒性、MSF 算法之间的高可转移性，以及经 3D 打印对抗样本后被激光雷达和摄像头捕获的高可复现性；
• 为了了解端到端的安全影响，进一步评估了在生产级模拟器上提出的攻击，评估结果显示，文章提出的攻击可以对工业级自动驾驶系统造成 100% 的车辆碰撞率，同时讨论了可能的防御策略。

四、实验要点

设计挑战：
C1：缺乏一个对基于摄像头和激光雷达的感知系统都有效的单一的物理世界攻击向量。 我们非常希望能够识别出一种能够同时有效地攻击两者的攻击向量。

C2：需要区分合成物理一致的攻击影响到摄像头和激光雷达。
为了系统地产生对抗输入，前期工作一般采用基于优化的方法，效率和有效性都很高。由于对抗性攻击的生成通常需要数千次优化迭代，在实践中，每次迭代更新对抗性输入时，物理驾驶车辆在目标道路上获取受攻击影响的相机图像和激光雷达点云几乎是不可能的。因此，我们需要数字合成来自物理世界的对抗刺激对相机图像和激光雷达点云的影响，这种合成需要是可微分的，以实现有效的优化。

C3：感知中需要处理不可微分的预处理步骤。

解决手段：
S1：将对抗性3D对象作为针对基于MSF的感知的物理世界攻击向量。 我们的主要观点是，三维物体的不同形状不仅会导致激光雷达点云中的点位置变化，还会导致相机图像中的像素值变化。为了达到攻击目标，攻击者只需将这样一个物体放置在道路上，诱使受害者撞向它。优点：1）首先，它很容易在物理世界中实现和部署。例如，攻击者可以将其数字化构建成三维网格，并将其3D打印出来，这在今天通过在线服务是很方便的 2）其次，它可以通过模拟一个正常的交通物体，可以合法地出现在道路中间，例如一个交通锥或障碍物。

S2：利用现有的3D渲染技术在计算机图形学中模拟的物理设备的功能,例如,相机和激光雷达,因此系统地综合相机图像和激光雷达点云。具体来说，为了实现端到端优化过程，我们对这些渲染过程进行了可微构建，并使用与3D对象的相对位置，以确保与相应的相机和激光雷达安装位置的物理一致性。

S3：利用合成的原始相机图像和激光雷达点可以为不可微预处理步骤(不可微单元级聚合特征计算)设计可微逼近函数，实现端到端优化。 为了解决这个问题，我们的主要观点是，所有常用的单元格级别的聚合特性都可以通过点包含属性来区分(详见§IV-D)。因此，我们首先设计了一个新颖而精确的可微函数来近似计算点包含特性，然后将其作为构建块来实现激光雷达预处理步骤的可微计算。在优化过程中，我们还进行了其他领域特定的设计，例如，攻击鲁棒性、隐形性和物理世界的可实现性。