视觉SLAM十四讲 读书编程笔记 Chapter12 回环检测

最新推荐文章于 2025-03-24 10:31:54 发布
最新推荐文章于 2025-03-24 10:31:54 发布
阅读量880 收藏 3
点赞数
分类专栏： SLAM 文章标签： 视觉slam十四讲
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wolfcsharp/article/details/99700891
版权

Chapter12 回环检测

词袋模型(BoW)

  1. 确定BoW的单词，从而组成字典。
  2. 确定一副图像中出现了哪些在字典中定义的概念，从而把一副图像转换成了一个向量的描述。
  3. 比较上一步中描述的相似程度。

字典

字典的结构

  • 字典生成问题类似于一个聚类问题，聚类问题常用K-means方法：根据K-means，我们可以把已经提取的大量特征点聚类成一个含有k个单词的字典。
  • 字典的存储结构：
    使用一种k叉树来表达字典，假设我们有N个特征点，希望构建一个深度为d，每次分叉为k的树，那么做法如下：
  1. 在根节点，用K-means把所有样本聚成k类，这样得到了第一层。
  2. 对第一层的每个节点，把属于该节点的样本再聚成N类，得到下一层。
  3. 以此类推，最后得到叶子层。叶子层即所谓的Words
  4. 经过上述步骤，构建了一个k分支，深度为d的树，可以容纳kd个单词，在查找某个特定的单词时，只需将它与每个中间节点的聚类中心比较(一共d次)，即可找到最后的单词，保证了对数级别的查找效率。

在这里插入图片描述

实践：创建字典

  1. 安装BoW库，下载地址：https://github.com/rmsalinas/DBow3
    它是一个cmake工程，编译并且安装它。
  2. 完整代码：
    feature_training.cpp
//2019.08.18
#include "DBoW3/DBoW3.h"
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/features2d/features2d.hpp>
#include <iostream>
#include <vector>
#include <string>

using namespace cv;
using namespace std;


int main(int argc,char **argv)
{
	//read the image
	cout << "reading images..." << endl;
	vector<Mat> images;
	for(int i=0;i<10;i++)
	{
		string path = "../data/" + to_string(i+1) + ".png";
		images.push_back(imread(path));
	}
	//detect ORB features
	cout <<"detecting ORB features..."<<endl;
	Ptr< Feature2D > detector = ORB::create();
	vector<Mat> descriptors;
	for(Mat& image:images)
	{
		vector<KeyPoint> keypoints;
		Mat descriptor;
		detector->detectAndCompute(image,Mat(),keypoints,descriptor);
		descriptors.push_back(descriptor);
	}
	
	//create vocabulary
	cout<<"creating vocabulary..."<<endl;
	DBoW3::Vocabulary vocab;//构造字典生成器对象，默认k=10,d=5,也可以程序员指定
	vocab.create(descriptors);
	cout<<"vocabulary info:"<<vocab<<endl;
	vocab.save("vocabulary.yml.gz");
	cout<<"done"<<endl;

	return 0;
}

CMakeLists.txt

cmake_minimum_required( VERSION 2.8 )
project( loop_closure )

set( CMAKE_BUILD_TYPE "Release" )
set( CMAKE_CXX_FLAGS "-std=c++11 -O3" )

# opencv 
find_package( OpenCV REQUIRED )
include_directories( ${OpenCV_INCLUDE_DIRS} )

# dbow3 
# dbow3 is a simple lib so I assume you installed it in default directory 
set( DBoW3_INCLUDE_DIRS "/usr/local/include" )
set( DBoW3_LIBS "/usr/local/lib/libDBoW3.a" )

add_executable( feature_training feature_training.cpp )
target_link_libraries( feature_training ${OpenCV_LIBS} ${DBoW3_LIBS} )

运行结果：
在这里插入图片描述

相似度的计算

理论部分

我们希望对单词的区分性或重要性加以评估，给它们不同的权值以起到更好的效果。在文本检索中，常用的一种做法称为TF-IDF(Term Frequency-Inverse Document Frequency)。
TF部分的思想是，某单词在一副图像中经常出现，它的区分度就高。
IDF的思想是，某单词在字典中出现的频率越低，则分类图像时区分度就越高。

在词袋模型中，在建立字典时可以考虑IDF部分。我们统计某个叶子节点wi中的特征数量相对于所有特征数量的比例作为IDF部分。假设所有的特征数量为n，wi中的特征数量为ni,那么该单词的IDF为：IDFi=log(n/ni)
用来描述一个单词的特征点数量越少，说明这个单词越纯净，区分度也越好。

另一方面，TF部分则是指某个特征在单幅图像中出现的频率。假设图像A中单词wi出现了ni次，而一共出现的单词次数为n，那么TF为：TFi=ni/n
在一幅图像中，某个单词出现的次数相比于它在所有图像中出现的次数占比越大，那么这个单词区分度越高。

某一个单词的权重定义为TF与IDF之积：
etai = TFi×IDFi
考虑权重之后，对于某幅图像A，它的特征点可对应到许多个单词，组成它的Bag-of-Words:
A = {(w1,etai),(w2,etai),…,(wN,etaN)} = vA
由于相似的特征可能落到同一个类中，因此实际的**vA中会存在大量的零。这个向量vA**是一个稀疏的向量，它的非零部分指示了图像A中含有哪些单词，而这些部分的值为TF-IDF的值。

给定vA，vB，用L1范数计算它们的差异：

在这里插入图片描述

实践：相似度计算

loop_closure.cpp

//2019.08.18
#include "DBoW3/DBoW3.h"
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/features2d/features2d.hpp>
#include <iostream>
#include <vector>
#include <string>

using namespace cv;
using namespace std;


int main(int argc,char **argv)
{
	//read the images and database
	cout << "reading database"<<endl;
	DBoW3::Vocabulary vocab("../vocabulary.yml.gz");
	if(vocab.empty())
	{
		cerr <<"Vocabulary does not exist."<<endl;
		return 1;
	}

	cout << "reading images..." << endl;
	vector<Mat> images;
	for(int i=0;i<10;i++)
	{
		string path = "../data/" + to_string(i+1) + ".png";
		images.push_back(imread(path));
	}

	
	//NOTE: in this case we are comparing images with a vocabulary generated by themselves, this may leed to overfitting.
	//detect ORB features
	cout <<"detecting ORB features..."<<endl;
	Ptr< Feature2D > detector = ORB::create();
	vector<Mat> descriptors;
	for(Mat& image:images)
	{
		vector<KeyPoint> keypoints;
		Mat descriptor;
		detector->detectAndCompute(image,Mat(),keypoints,descriptor);
		descriptors.push_back(descriptor);
	}
	
	//we can compare the images directly or we can compare one image to a database
	//images
	cout<<"comparing images with images"<<endl;
	for(int i=0;i<images.size();i++)
	{
		DBoW3::BowVector v1;
		vocab.transform(descriptors[i],v1);
		for(int j=i;j<images.size();j++)
		{
			DBoW3::BowVector v2;
			vocab.transform(descriptors[j],v2);
			double score = vocab.score(v1,v2);
			cout<<"image "<<i<<" vs image "<<j<<" : "<< score<<endl;
		}
		cout<<endl;
	}

	//or with database
	cout<<"comparing images with database"<<endl;
	DBoW3::Database db(vocab,false,0);
	for(int i=0;i<descriptors.size();i++)
	{
		db.add(descriptors[i]);
	}
	cout<<"database info:"<<db<<endl;
	for(int i=0;i<descriptors.size();i++)
	{
		DBoW3::QueryResults ret;
		db.query(descriptors[i],ret,4);//max result=4
		cout<<"searching for image "<<i<<" returns "<<ret<<endl<<endl;
	}

	cout<<"done"<<endl;

	return 0;
}

CMakeLists.txt

cmake_minimum_required( VERSION 2.8 )
project( loop_closure )

set( CMAKE_BUILD_TYPE "Release" )
set( CMAKE_CXX_FLAGS "-std=c++11 -O3" )

# opencv 
find_package( OpenCV REQUIRED )
include_directories( ${OpenCV_INCLUDE_DIRS} )

# dbow3 
# dbow3 is a simple lib so I assume you installed it in default directory 
set( DBoW3_INCLUDE_DIRS "/usr/local/include" )
set( DBoW3_LIBS "/usr/local/lib/libDBoW3.a" )

add_executable( loop_closure loop_closure.cpp )
target_link_libraries( loop_closure ${OpenCV_LIBS} ${DBoW3_LIBS} )

运行结果：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

相似性评分的处理

绝对相似性评分鲁棒性不是很好，我们取一个先验相似度s(vt,vt-deltat),它表示某时刻关键帧图像与上一时刻的关键帧的相似性。然后，其他的分值都根据这个值进行归一化：
在这里插入图片描述

如果当前帧与之前的某关键帧的相似度超过当前帧与上一个关键帧相似度的3倍，就认为可能存在回环。

关键帧的处理

如果关键帧选得太近，那么将导致两个关键帧之间的相似性过高，相比之下不容易检测出历史数据中的回环。比如，检测结果经常是第n帧和第n-2帧，第n-3帧最为相似，这种结果似乎太平凡了，意义不大。从实践来说，用于回环检测的帧最好是稀疏一些，彼此之间不太相同，又能涵盖整个环境。
另一方面，如果成功检测到了回环，比如说出现在第1帧和第n帧。那么很可能第n+1帧、第n+2帧都会和第1帧之间构成回环。但是，确认第1帧和第n帧之间存在回环对轨迹优化是有帮助的，而再接下去的第n+1帧、第n+2帧都会和第1帧构成回环产生的帮助就没那么大了。所以，我们会把"相近"的回环聚成一类，使算法不要反复地检测同一类的回环。

检测之后的验证

词袋的回环检测算法完全依赖于外观而没有利用任何的几何信息，这导致外观相似的图像容易被当成回环。并且由于词袋不在乎单词顺序，只在意单词有无的表达方式，更容易引发感知偏差。所以，在回环检测之后，我们通常还会有一个验证步骤。
验证的方法有很多。其一是设立回环的缓存机制，认为单次检测到的回环并不足以构成良好的约束，而在一段时间中一直检测到的回环，才认为是正确的回环。这可以看成时间一致性检测。
另一方法是在空间上的一致性检测，即对回环检测到的两个帧进行特征匹配，估计相机的运动。然后，再把运动放到之前的位姿图中，检查与之前的估计是否有很大的出入。总之，验证部分通常是必须的，但如何实现却是见仁见智的问题。

点云配准论文阅读笔记--3d-dnt博士论文
诺有缸的高飞鸟的博客
12-12 2956
The Three-Dimensional Normal-Distributions Transform - an Efficient Representation for Registration,Surface Analysis, and Loop Detection 本篇博客关注点是博士论文里面的用3d-ndt进行点云配准的部分
视觉SLAM十四讲——第十二讲：回环检测
weixin_37709708的博客
10-05 1927
@ 《视觉SLAM十四讲》知识点与习题 《视觉SLAM十四讲》第十二讲知识点整理+习题 正在学习SLAM相关知识，将一些关键点及时记录下来。 知识点整理 回环检测的目的在于使得机器人可以判断是否之前运动到过当前位置，目的在于构建全局一致的地图 回环检测：可以给出除了相邻帧之外的时隔更加久远的约束，它关系到估计的轨迹和地图在长时间下的正确性。且可以在跟踪算法丢失之后，利用回环检测进行重定位 基于外...
解读《视觉SLAM十四讲》，带你一步一步入门视觉SLAM—— 第 12 讲 回环检测
一点儿也不萌的萌萌
01-07 899
在开始讲回环检测之前，我们先看下我们面临的问题！
机器学习性能评估指标之PR曲线（Precision-Recall Curve）
最新发布
浩瀚之水的专栏
03-24 2143
PR曲线是评估分类模型性能的重要工具，特别适用于类别不平衡或需要重点关注正类识别能力的任务（如疾病诊断、欺诈检测）。
【SLAM十四讲】ch11 回环检测 词袋法实验 得出相似分数后计算PR曲线 VPR实验 编辑中
HARYORE的博客
06-10 739
本文将从DBow3库的安装，再到高博十四讲的第ch11词袋法代码，最后再将词袋法的得分输入PR曲线代码来得到VPR（visual place recognition，视觉场景识别）实验结果。在ch11/CMakeLists.txt中，高博将libDBoW3库设置为静态库libDBoW3.a，而当前版本的DBow3仓库默认安装之后给出的库文件是动态库.so。目前手头上有的实验记录，如果兄弟们感兴趣可以在下边留言，我周末的时候抽空整理发在CSDN上（虽然感觉其他人的博客应该也已经有写了）
【slam十四讲第二版】【课后习题】【第十一讲~回环检测】
qq_45954434的博客
08-02 842
视觉SLAM十四讲CH11代码解析及课后习题详解。
SLAM【十】回环检测
热门推荐
Cloudy_to_sunny的博客
03-18 1万+
SLAM【十】回环检测回环检测的作用及意义作用意义回环检测方法准确率和召回率词袋模型字典字典的结构功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 回环检测的作用及意义 作用 问题：为了解决整个SLAM出现的累计误差，导致无法构建全
《视觉SLAM十四讲 第二版》笔记及课后习题（第七讲）
weixin_43619346的博客
11-23 4402
读书笔记：视觉里程计1
总结(/Review): 回环检测中的位置识别（Place Recognition）
一只飞鱼的博客
08-06 8839
更新于2018.8 开始之前 回环检测的关键在于重新识别到同一个地方，这块领域被称为位置识别（Place Recognition)。 此文主要总结大视角变化和场景变化中的位置识别。 位置识别中的一些概念 位置识别模块分为三个部分：图像处理部分；已知地图表达部分；置信决策部分（判断该图像是否属于该地图/环境） scene recognition:识别场景的类别（很大程度上，本质是一个分类...
机器学习——性能度量（PR曲线和ROC曲线）
m0_70744324的博客
10-11 3905
性能度量：衡量模型泛化能力的评价标准（反映了任务需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果。模型的好坏，不仅取决于算法和数据，还决定于任务需求。P为precision即精准率（查准率），R为recall即召回率，所以P-R曲线是反映了准确率与召回率之间的关系。一般横坐标为recall，纵坐标为precision。ROC全称Receiver Operating Characteristic，即受试者工作特征，坐标图式的分析工具。
（回环检测）Scan Context++: Structural Place Recognition Robust to Rotation and Lateral Variations in Urba
weixin_44035919的博客
06-01 2556
位置识别是机器人导航中的一个关键模块。现有的研究路线主要集中在视觉位置识别，即仅根据外观识别以前访问过的地方。在本文中，我们通过基于结构化外观的位置识别，即从距离传感器来解决结构化的位置识别问题。扩展了我们以前关于具有旋转不变性的空间描述子的工作，该描述子完成了当横滚-俯仰运动不严重时对旋转(航向)和平移都鲁棒的通用描述子。我们引入了两个子描述子，启用拓扑位置检索，然后进行 1 自由度半度量定位，从而弥合了拓扑位置检索和度量定位之间的差距。我们从环境复杂性和规模两个方面对所提出的方法进行了全面的评价。源代码
机器学习——pr曲线、roc曲线
achuai0917的博客
10-23 3716
AUC值（ROC曲线下的面积）可以用来衡量分类器的性能，一般情况下，AUC值越大，分类器的性能越好。计算公式为TP/(TP+FN)，其中TP是真正例的数量（即正确预测为正的正例样本数量），FN是假负例的数量（即错误预测为负的正例样本数量）。计算公式为FP/(FP+TN)，其中FP是假正例的数量（即错误预测为正的负例样本数量），TN是真负例的数量（即正确预测为负的负例样本数量）。：精确率被定义为“正例预测正确的概率”，即预测为正例并且实际也为正例的样本数除以所有被预测为正例的样本数。
移动机器人视觉SLAM回环检测原理、现状及趋势
limingmin2020的博客
12-02 886
本文对回环检测的问题进行描述，对目前使用较多的传统回环检测方法进行梳理，总结与深度学习及语义分割等技术相结合的回环检测方法，在此基础上分析不同神经网络在公开数据集下的性能对比。
回环检测回环校正（二）：回环校正原理
weixin_44264994的博客
01-09 3822
回环检测回环校正（二）：回环校正原理 一、回环校正概述 参考：[1]徐宽. 融合IMU信息的双目视觉SLAM研究[D].哈尔滨工业大学,2018. 回环校正所要做的事是如何利用回环信息消除累计的误差。回环校正主要分为两个步骤： 1、首先，进行回环融合，回环融合就是将回环检测匹配到的特征点所相关联的地图点融合，将重复的地图点剔除。 2、然后进行当前帧位姿校正，利用回环检测得到的基础矩阵算出当前帧和回...
视觉SLAM笔记（57） 回环检测
氢键H-H
11-17 1万+
回环检测的意义、实现方法、准确率和召回率、词袋模型
视觉SLAM--回环检测
xiner0114的博客
07-22 743
回环检测的意义：可以使后端位姿图得到一个全局一致估计。
视觉SLAM十四讲CH11代码解析及课后习题详解
生活如此美好，致敬每一个热爱“热爱”的人！
12-09 4927
在进行编译程序前，先需要安装DBoW，第二版的安装文件下载链接如下所示： https://github.com/rmsalinas/DBow3https://github.com/rmsalinas/DBow3下载完成后，安装方法很简单,将文件存放在你想存放的文件夹里面，进入DBoW-master文件夹： mkdir build cd build cmake .. make -j4 sudo make install 在编译CH11的时候，出现了下面的错误： make[2]:.
【SLAM】SLAM论文中，回环检测结果是如何去评价的？
qq_45306739的博客
11-04 1020
由上面的三个论文可以看出，对于真假阳性的判断阈值完全是根据测区和实验效果自己来定， 这么多年了好像到现在都没有一个统一的benchmark（2024年底），有合适的评论区交流一下。所以，我个人更喜欢用一个确定的阈值，来画PR表格。其他类似的参考文献，大多数都是这样，不一一列举了：各个文章的作者相近各种办法去获得真值和判断真值…可以看出，在同一文献内，自己认定一个规范的方法也是具有一定说服力的。：）
视觉SLAM十四讲精要：从里程计到回环检测
对应的文件名称“视觉SLAM十四讲”，则可能是该系列讲座或资料的具体名称。 综合以上，SLAM系统是一个高度复杂的技术领域，涵盖多个子领域和多种先进技术。掌握SLAM的核心算法和模块对于工程师在机器人导航、自动...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值