图像配准/对齐

1. 理论基础

在图像的变换和卷绕中，我们已经建立了一个图片经过变换成为另一个图片的过程，事实上，我们在进行图像配准的时候,就是给出了两个图像，让我们判断图像之间的变换关系的过程。

如果图像A经过一些变换能得到图像B，我们只需要计算出这组变换，就可以得到图像的配准，并进行拼接。

所以，寻找图片中与所有匹配项最符合的变换T就是图像配准的过程。

最简单的例子就是平移

很明显，图片B中的特征点就是图片A中特征点平移的来的。所以，只需要计算出平移量(xt, yt)，我们甚至可以将两个图像合成

很明显，图片B中的特征点就是图片A中特征点平移的来的。所以，只需要计算出平移量(xt, yt)，我们甚至可以将两个图像合成

我们可以通过两个图片位置坐标的差值直接获得位移量，但是这十分不恰当(因为图片总不是完全匹配的)

所以，就如图中所说，使用所有匹配点的差值的均值是一个很好的方法。

2. 最小二乘法

对于仿射变换处理使用最小二乘法，这将很好的处理仿射变换，在平移问题，就相当于平均位移量。

2.1 从平移说起

对于一组平移图像，我们设其平移为(Xt,Yt)
对于一个点(Xi,Yi)， 我们有

所以定义残差为

我们对于所有的匹配点求残差，这样，通过保证最小的残差平方和来求解(Xt,Yt)

为了保证平移向量(Xt,Yt)误差足够小，我们就需要保证他拥有最小的残差平方和:

求解平移向量
对于这一过程，我们可以用矩阵表示

为了保证最小的残差平方和则|At−b|2要保证最小

为了求解t，我们就形成正则方程

对于以上过程，需要注意的是，A是列满秩矩阵，否则，ATA逆矩阵是不存在的。

当然对于非列满秩矩阵，我们还有其他方法。

2.2 仿射变换

在图像的变换和卷绕时，我们就已经提到过仿射变换

具体的仿射变换矩阵是：

为了求解仿射变换矩阵，我们同样使用最小二乘法来求解问题，定义残差和代价函数，并且将其转换为矩阵形式求解。

然后，我们就可以通过和平移一样的方法来求解t矩阵。

2.3 同态映射(Homographies)

同态映射的矩阵是：

我们按照正常的操作将其展开可以得到

由于上式是非线性的，所以我们将矩阵设为：

如果我们将这个参数扩展到xn,这时，我们就可以求解H矩阵了：

在上述的矩阵运算中即Ah=0：

• 因为h可缩放，因此限定问题的解h^为单位向量
• h^是ATA具有最小特征值的特征向量
• 需要四个或更多匹配点

2.4 总结

通过上述的内容，我们明白了如何给两个图像配准对齐。

假定给定图像A和B，我们需要三个步骤

1. 计算A和B的图像特征
2. 匹配A和B之间的特征
3. 使用匹配集计算A到B同态映射矩阵的最小二乘解

3 RANSAC(随机抽样一致)

在图像匹配的时候，我们就知道，可能存在匹配不正确的点，也就是离群点(outliers)

而最小二乘法会去适应包括局外点在内的所有点，比如当我们在平移时求解Xt时，我们拟合曲线

可以看出，拟合的曲线是尽量适配所有点的，所以其结果不太准确。而RANSAC能得出一个仅仅用局内点计算出模型，并且概率还足够高。

RANSAC是“RANdom SAmple Consensus（随机抽样一致）”的缩写。它可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。它是一种不确定的算法——它有一定的概率得出一个合理的结果；为了提高概率必须提高迭代次数。

3.1 基本过程

1. 随机选择S个样本，通常S是确定一个模型的最小样本数量。然后我们假设选取的样本全部是局内点
2. 使用S个样本计算模型的一个解
3. 用2求解出的一个模型计算其他所有数据，如果某个点适用于估计的模型，则认为是局内点。如果有足够多的局内点被归类为假设的局内点，则认为估计的模型足够合理
4. 回到第一步，重复N次，并保留拥有最多局内点的模型。
5. 然后重新使用所有的局内点去估计模型，因为它仅仅被初始的假设局内点估计过。