40种6D姿态估计候选架构！哪种适合架构优化提升工业应用性能？

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：3D视觉工坊

添加小助理：cv3d001，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。

扫描下方二维码，加入「3D视觉从入门到精通」知识星球(点开有惊喜)，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门秘制视频课程、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

0.这篇文章干了啥？

这篇文章提出了一种快速且可扩展的6D物体姿态估计方法，旨在优化推理时间与估计精度之间的平衡。作者提出了40个候选架构，通过改进Geo Head架构和选择合适的骨干网络，提升了推理速度并保持高精度。此外，作者还提出了AMIS算法，能够根据不同数据集的时间和精度需求，智能地选择最优模型。实验结果表明，所提出的架构能够在减少推理时间的同时，显著提高精度，并且能够灵活适应不同的工业应用场景。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：EfficientPose 6D: Scalable and Efficient 6D Object Pose Estimation

作者：Zixuan Fang，Thomas Pöllabauer等

作者机构：No Institute Given

论文链接：https://arxiv.org/pdf/2502.14061

2. 摘要

在需要实时反馈的工业应用中，如质量控制和机器人操作，快速且精确的姿态估计需求仍然至关重要。尽管姿态估计的速度和准确性已有所提升，但在动态环境中，如何平衡计算效率和准确性仍然是一个重大挑战。目前大多数算法在估计时间上缺乏可扩展性，尤其是在处理多样化数据集时，最先进的（SOTA）方法往往过于缓慢。本研究专注于开发一组基于GDRNPP的快速且可扩展的姿态估计算法，以满足或超越当前在准确性和鲁棒性方面的基准，特别是解决实时场景中效率与准确性之间的权衡。我们提出了AMIS算法，根据应用特定的推理时间与准确性之间的权衡来调整所使用的模型。我们进一步展示了基于AMIS的模型选择在四个重要基准数据集（LM-O、YCB-V、T-LESS和ITODD）上的有效性。

3. 效果展示

在普通Geo Head、Geo Head变体1、Geo Head变体2中添加连接的候选项。可在标记为①、②和③的位置之一添加连接。

4. 主要贡献

• 我们提出了40种基于GDRNPP修改的候选架构，通过调整骨干网络和Geo Head架构，主要目标是提高推理时间，同时保持高准确度；

• 我们提出了AMIS算法，该算法识别一组合适的候选模型，形成推理时间与6D姿态估计质量之间的最佳平衡，适用于多个数据集；

• 我们展示了通过AMIS算法识别的候选模型在LM-O、YCB-V、T-LESS和ITODD数据集上的定量结果。

5. 基本原理是啥？

1. 物体姿态估计：

• 6D物体姿态估计 是指在三维空间中确定一个物体的位置和方向。具体来说，这个过程包括估计物体在空间中的 位置（平移）和 方向（旋转），因此称之为 6D（3D空间中的位置 + 3D旋转）。

• 常见的估计方法是通过 RGB图像 进行推断，基于图像中的特征点或区域，结合深度信息来估计物体的姿态。

GDRNPP架构：

• GDRNPP 是一种 6D物体姿态估计的深度学习架构，它通过图像区域检测、特征提取（通常是用卷积神经网络CNN）以及PnP（Perspective-n-Point）模块来直接回归物体的旋转和平移。推荐课程：彻底搞懂大模型数学基础剖析、原理与代码讲解。

• 在GDRNPP中，图像的特征通过 骨干网络（Backbone） 提取，然后通过 Geo Head 网络进一步处理，最后通过PnP模块获取物体的姿态。

Geo Head优化：

• Geo Head 是GDRNPP架构中处理图像特征的关键部分，它负责从骨干网络提取的特征中预测物体的姿态。通过对Geo Head结构的优化（比如减少卷积层或修改结构），可以显著降低推理时间，同时保持或提升模型精度。

AMIS算法：

• AMIS（Adaptive Margin-Dependent Iterative Selection）算法是一种用于选择最优模型架构的工具，通过在推理时间与估计精度之间进行权衡，选择出适合特定需求的最优架构。它通过对多种候选架构的推理时间和准确性进行评估，帮助在不同的时间预算下，选择最佳的模型。

6. 实验结果

1. Geo Head架构改进实验：

• 提出了两种Geo Head架构改进（分别为B0和C0），并对其进行评估。实验结果表明，B0 和 C0 改进能够在不影响精度的情况下，显著提升推理速度。精度是通过多个度量指标（如MSPD、MSSD、VSD、AR）进行评估的，这些指标可以提供6D物体姿态估计的多方面信息。

• 通过修改Geo Head架构，还进一步减少了推理时间。例如，在GDRNPP架构上引入的某些变化，进一步缩短了推理时间，而对精度的影响较小。实验表明，优化后的Geo Head架构（如C0、E0、F0、F2）在推理速度和精度之间取得了良好的平衡。

候选架构的评估：

• 基于上述优化架构，提出了40个候选架构，并在LM-O数据集上进行了评估。不同架构的推理时间和精度的对比结果表明，候选架构在不同的推理时间预算下表现出较为一致的精度，推理时间缩短了35%，而精度仅下降了3%（根据MSPD、MSSD和VSD的平均值计算）。这表明，即使是在较短的推理时间下，改进的架构依然能够提供较好的精度。

• 随着推理时间预算的增加，模型的精度逐渐提高，表现出灵活适应不同时间和精度需求的能力。实验还显示，相比于GDRNPP，额外增加约31%的推理时间，精度提高了约25%。

AMIS算法的应用：

• AMIS算法 被用来识别从候选架构中选出的最适合的模型，评估数据集包括IMO、LM-O、YCB-V、T-LESS和ITODD。通过散点图展示了推理时间与精度之间的关系，证明了AMIS算法选择的候选架构在推理时间和精度之间取得了很好的平衡，适应了不同数据集中的各种要求。

• 在所有四个数据集上，随着推理时间的增加，所选模型的精度也在逐渐提升，展示了AMIS算法在不同推理时间预算下的优越性能。

进一步的优化方向：

• 尽管已经取得了显著的性能提升，实验结果表明，还有一些潜在的改进方向。例如，可以通过采用 端到端的方法 集成目标检测或分割技术，或者探索其他轻量化方法（如教师-学生模型），以进一步提高推理效率和精度。

7. 总结 & 未来工作

我们提出了一种快速且可扩展的姿态估计器，能够根据估计精度与推理时间之间的权衡动态调整，以满足定制需求。为此，我们提出了40个候选架构，旨在优化基于GDRNPP的推理时间与6D物体姿态估计精度之间的权衡，这些架构通过选择有前景的骨干网络并识别对GDRNPP架构中Geo Head部分有益的架构变化来筛选而成。此外，我们还提出了AMIS算法，这是一个定量识别模型架构的工具，旨在找出能够有效应对不同数据集上精度与时间尺度差异挑战的“甜点”架构。在与GDRNPP的比较中，我们展示了AMIS算法选择的候选架构在推理时间上表现出色，并且随着推理时间预算的增加，模型准确性逐渐提升。未来的研究方向可能包括针对长时间跨度任务的不同频率的时间轨迹组合、大规模数据集上的策略组合方法，以及从组合策略中提炼策略。未来的研究还可以关注一些潜在的改进方向：采用集成检测或分割的端到端方法，探索其他轻量级方法，如师生模型。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、最前沿、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：

工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿：具身智能、大模型、Mamba、扩散模型、图像/视频生成等

除了这些，还有求职、硬件选型、视觉产品落地、产品、行业新闻等交流群

添加小助理: cv3d001，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。

3D视觉工坊知识星球

「3D视觉从入门到精通」知识星球(点开有惊喜)，已沉淀6年，星球内资料包括：秘制视频课程近20门（包括结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云等）、项目对接、3D视觉学习路线总结、最新顶会论文&代码、3D视觉行业最新模组、3D视觉优质源码汇总、书籍推荐、编程基础&学习工具、实战项目&作业、求职招聘&面经&面试题等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。

3D视觉工坊官网：www.3dcver.com

卡尔曼滤波、大模型、扩散模型、具身智能、3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪等。

3D视觉模组选型：www.3dcver.com

— 完 —

点这里👇关注我，记得标星哦～

一键三连「分享」、「点赞」和「在看」

3D视觉科技前沿进展日日相见 ~