论文解析三： D2-Net 用于联合描述和检测局部特征的可训练CNN

1.D2-Net摘要

​ 解决在困难的成像条件下寻找可靠的像素级对应的问题。

​ 提出一种由单一卷积神经网络发挥双重作用的方法：它同时是一个密集的特征描述符和一个特征检测器。通过将检测推迟到后期阶段，所获得的关键点比基于低层结构早期检测的传统关键点更稳定。

我们证明了该模型可以使用从现成的大规模SfM重建中提取的像素对应来训练，而不需要任何进一步的注释。该方法在困难的亚琛昼夜定位数据集和InLoc室内定位基准上都获得了最先进的性能，以及在其他图像匹配和三维重建基准上具有竞争力的性能。

特点：特征点定位精度较差、速度慢，但对光照变化、模糊变化等鲁棒性较高

2.D2-Net关键点介绍

​ 在图像之间建立像素级对应关系是计算机视觉中的基本问题之一，现在主要的方法包括稀疏匹配和密集匹配

​ 稀疏匹配一般采用检测然后描述的方法（如下图a），这种方法效率高、速度快，但由于图片中低纹理区域或是重复场景的出现，这种方法可能无法提取到特征点或提取到错误的特征点，其本质原因在于detector只使用了浅层图像信息

​ 密集匹配直接使用深层特征来获得密集特征描述，不使用detector，从而有更高的鲁棒性，但计算效率大大降低

​ 文章提出了一种足够鲁棒的**sparse local feature（稀疏局部特征）**方法（如下图b），将detector放在深层特征后与decriptor高度耦合而一起实现，从而既有sparse（稀疏）方法的高效性，又有dense（密集）方法的鲁棒性

3. Joint Detection and Description (联合检测和描述)

​ 我们目标是获得一组稀疏的，鲁棒的特征，这些特征在具体挑战性的条件下是稳健的，并且能够有效匹配和存储。为此，提出一种

一种稀疏局部特征检测和描述的Joint Detection and Description：我推迟检测阶段，而不是基于低级信息尽早进行特征检测。

​ 首先通过深度卷积神经网络(CNN)计算一组特征图