点云配准这30年：全面综述！-CSDN博客

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：3D视觉工坊

添加小助理：cv3d001，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。

扫描下方二维码，加入「3D视觉从入门到精通」知识星球(点开有惊喜)，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门秘制视频课程、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

0. 论文信息

标题：3D Registration in 30 Years: A Survey

作者：Jiaqi Yang, Chu'ai Zhang, Zhengbao Wang, Xinyue Cao, Xuan Ouyang, Xiyu Zhang, Zhenxuan Zeng, Zhao Zeng, Borui Lu, Zhiyi Xia, Qian Zhang, Yulan Guo, Yanning Zhang

机构：Northwestern Polytechnical University、Chang’an University、Shenzhen University、Sun Yat-Sen University

原文链接：https://arxiv.org/abs/2412.13735

代码链接：https://github.com/Amyyyy11/3D-Registration-in-30-Years-A-Survey

1. 导读

三维点云配准是计算机视觉、计算机图形学、机器人学、遥感等领域的一个基本问题。在过去的三十年里，我们见证了这一领域的惊人进步，以及各种各样的解决方案。虽然进行了一些相关的调查，但覆盖面仍然有限。在本文中，我们对三维点云配准进行了全面的综述，涵盖了一系列子领域，如成对粗配准、成对细配准、多视图配准、跨尺度配准和多实例配准。本综述全面介绍了数据集、评估标准、方法分类、优缺点讨论以及对未来方向的深刻思考。

2. 引言

将3D点云对齐到统一坐标系中，这一过程被称为3D点云配准，是计算机视觉、计算机图形学、机器人技术和遥感等众多领域的一个基础问题。对齐后的点云能带来两大关键成果：1) 为重建、信息融合和误差测量提供更完整的点云；2) 提供六自由度（6-DoF）姿态，用于稳健的姿态估计、3D跟踪、物体/位置定位和运动流估计。随着3D主动和被动采集技术（如英特尔的RealSense、苹果的iPhone系列）的发展，过去三十年来，3D点云配准问题吸引了越来越多的研究关注。

特别是，根据数据采集或应用场景的不同，稳健的3D点云配准有几个子分支（见图1）。从处理的数据序列角度来看，成对配准关注两个点云的对齐，而多视图配准则对齐两个以上顺序或无序的多个点云。从误差最小化的角度来看，粗配准大致对齐姿态变化较大的点云，而精配准则通常关注最小化小的残差误差。从方法论的角度来看，早期方法设计手工优化的或启发式的方法，而最近的方法则采用深度学习方法。研究配准问题还有其他角度，如特征学习、对应学习以及稳健的6-DoF姿态估计。因此，3D点云配准领域存在许多方法和研究课题。

现有调查要么关注点云配准任务的不同部分，要么局限于有限的范围。例如，早期的综述涵盖了点云配准的各个方面，但缺乏对子领域之间联系的深入分析，未能系统地揭示它们之间的内在联系和相互作用。最近的综述回顾了常用的数据集和评估指标，但缺乏在统一实验设置下的性能比较，未能在一致条件下展示不同方法的优势和局限性。因此，它们未能从更全面的角度覆盖过去三十年的文献。

3. 主要贡献

为填补这一空白，我们对过去几十年中的3D配准方法进行了全面调查。主要贡献总结如下：

• 全面回顾与新的分类体系。据我们所知，如图2所示，这是首篇全面回顾点云配准方法的综述论文，涵盖了一系列子领域，如成对粗配准、成对精配准、多视图配准、跨尺度配准和多实例配准。它提供了系统的分类和广泛的文献覆盖。

• 基准概述与性能比较。系统总结了点云配准的流行基准数据集和性能评估指标。还报告了代表性最新方法在标准基准上的一组比较结果。

• 未来方向展望。强调了现有方法的特性、优点和缺点。我们还对当前挑战和几个未来研究方向进行了深刻的讨论，以激发该领域的后续工作。推荐课程：聊一聊经典三维点云方法，包括：点云拼接、聚类、表面重建、QT+VTK等。

本文的其余部分组织如下。第2节回顾了点云配准数据集和评估指标。第3节介绍了成对粗配准方法，包括基于对应和无对应的方法。第4节讨论了成对精配准方法，重点关注基于ICP和基于GMM的方法。第5节介绍了多视图粗配准方法，涵盖了几何方法和基于深度学习的方法。第6节介绍了多视图精配准方法，包括基于点和基于运动的方法。第7节介绍了其他配准问题，如跨尺度、跨源、彩色点云和多实例配准。第8节讨论了该领域的挑战和机遇。最后，第9节得出结论。

4. 粗配准

本节总结了基于几何方法的配对粗登记方法，分类和时间概述分别如图4和图6所示。

5. 精配准

精配准旨在通过细化变换来精确对齐两个点云，以最小化残余误差。主要方法基于ICP或GMMS。本节回顾了对偶精细配准的主要方法。分类、时间顺序概述和性能比较分别如图14、图15和表6所示。

6. 多视角配准

多视角配准任务涉及将从不同角度捕获的多组点云视图对齐到一个统一的坐标系，使用对偶配准作为基础。与对偶配准相比，多视角配准带来了额外的挑战，例如在解决累积误差和计算开销的同时估计多个变换。时间序列概述和性能比较分别如图17和表7所示

7. 挑战和机遇

尽管过去几十年里，我们在实现稳健的3D点云配准方面取得了巨大成功，但仍存在几个关键问题，需要未来的研究加以关注。

1）将无监督配准推向极限。点云配准问题本质上是一个优化问题。尽管近年来全监督方法取得了巨大成功，但无监督方法在实际应用中更具适用性，且与几何约束相结合时极具前景。目前已有一些无监督方法问世，其性能甚至可与监督方法相媲美，这激励我们探索性能的上限。

2）端到端学习或混合解决方案。端到端学习是解决2D视觉问题的知名方法。遵循这一趋势，涌现出许多端到端配准框架。然而，最近的一项研究表明，一个解耦框架（例如，使用几何估计器学习的特征）超越了最先进的方法，并实现了更好的泛化能力。因此，应对此问题进行更深入的研究，为3D配准领域提供答案。

3）在极端稀疏内点情况下进行稳健的变换估计。基于对应关系的配准方法因其出色的性能和稳健性而经常被重新审视。自RANSAC算法提出以来，已提出了许多后续算法。然而，在存在稀疏内点的情况下，该问题极具病态性，现有方法仍无法实现稳健的结果。此方向的新数据集和实验设置值得更多关注。

4）消除极小残差配准误差。对于精细配准而言，ICP及其变体无疑是实际选择。一个有趣的现象是，大多数精细配准工作都倾向于解决全局配准问题，而当前最先进的粗略配准方法已经能够提供良好的初步估计。在许多工业和测量应用中，在噪声和弱几何特征存在的情况下，消除极小残差误差的需求极为迫切。然而，现有的精细配准方法在处理这种情况时仍显力不从心。

5）野外多视图配准。当前的多视图配准方法假设感兴趣的对象/场景是静态的，扫描重叠得到保证，且扫描数据受到控制。对从动态和未知场景中捕获的点云序列进行多视图配准仍然是一个悬而未决的问题。

6）3D高斯分布配准。3D高斯表示开启了渲染和3D重建的新时代。在大型场景渲染问题中，已有少数关于3D高斯分布配准的尝试。鉴于成熟的点云配准解决方案和新的3D表示方法，我们相信还有许多有趣的问题有待探索。

7）跨尺度3D配准具有挑战性。在自主导航和机器人技术等应用中，尺度因子有时模糊不清，当其他干扰因素同时存在时，问题更具挑战性。然而，与没有尺度变化的标准配准问题相比，我们发现这方面的研究努力相对较少。这个方向更具挑战性。

8）使用大型预训练模型进行配准。大型预训练模型极大地推动了多模态生成任务的发展。大型预训练模型的强大生成能力能够实现形状补全，这有望提高低重叠和非重叠数据的配准性能。

8. 总结

本文全面概述了过去三十年间3D点云配准方法的发展，涵盖了广泛的配准问题。我们已对综述的方法进行了全面的分类和性能比较，并总结了这些方法的特性、优点和缺点。最后，讨论了几个未来的研究方向。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、最前沿、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：

工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿：具身智能、大模型、Mamba、扩散模型、图像/视频生成等

除了这些，还有求职、硬件选型、视觉产品落地、产品、行业新闻等交流群

添加小助理: cv3d001，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。

▲长按扫码添加助理：cv3d001

3D视觉工坊知识星球

「3D视觉从入门到精通」知识星球(点开有惊喜)，已沉淀6年，星球内资料包括：秘制视频课程近20门（包括结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云等）、项目对接、3D视觉学习路线总结、最新顶会论文&代码、3D视觉行业最新模组、3D视觉优质源码汇总、书籍推荐、编程基础&学习工具、实战项目&作业、求职招聘&面经&面试题等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。

▲长按扫码加入星球

3D视觉工坊官网：www.3dcver.com

大模型、扩散模型、具身智能、3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪等。