计算机视觉：作业4图像匹配，缝合和单应性

16-720A计算机视觉：作业4图像匹配，缝合和单应性

讲师：Kris M. Kitani助教：Leonid，Mohit，Arjun，Rawal，Aashi，Tanya
截止日期：2018年3月27日星期二晚上11:59
版本1(3月8日，12pm）

总积分：100
额外积分：30

兴趣点检测器和描述符是大多数计算机视觉应用程序的核心。 这项任务的目的是通过研究一种确定单应性的应用程序来获得见识。 我们首先快速回顾一下，建立对平面单应性背后的理论的基本理解，然后继续展示如何在全景照片拼接和增强现实应用中常用的模板图像和源图像之间进行转换。

与这种情况下的先前作业相比，我们提供了使用Python或MATLAB进行作业的机会。 请选择一种语言，然后用该语言一致地完成整个作业。

图1：在分配任务结束时，您将能够将多张照片拼接成无缝的单张照片，其源图像来自M. Kazhdan

使用说明
1.诚信与协作：如果您是一个小组，请在您的文章中注明合作者的姓名。代码不应共享或复制。除非允许，否则请勿使用外部代码。严禁抄袭，否则可能会导致本课程失败。

2.早点开始！特别是如果您想最后使用AR应用程序！

3.广场：如有任何疑问，请先查看广场。我们为每个问题创建了文件夹，并在每个问题的顶部创建了一个粘性线程。在提交新问题并将其标签添加到即时贴之前，请仔细阅读所有在适当评论中标记的帖子。

4.书面记录：请注意，在此作业中，我们不接受您书面记录的手写扫描。请以电子方式输入对理论问题和实验讨论的答案。

5.代码：请坚持讲义中提到的功能原型。这使得TA的验证代码更加容易。

6.提交：请将所有结果包括在您在Gradescope上提交的pdf撰写文件中。对于代码提交，创建一个组成您的Matlab文件的zip文件<andrew-id> .zip。请确保删除您生成的所有临时文件。
最终上传的文件应按此布局排列。如果您是在MATLAB而不是Python中完成作业，则可以随意忽略python文件夹。
同样，如果您使用Python而不是MATLAB，那么。Pl

<AndrewId>.zip
{ <AndrewId>/
matlab/
makeTestPattern.m
computeBrief.m
briefLite.m
testMatch.m
briefRotTest.m
computeH.m
computeH norm.m
computeH ransac.m
HarryPotterize.m
compositeH.m
imageStitching.m
imageStitching noClip.m
python/
q2.py
q3.py
q4.py
ec.py
run q2.py
run q3.py
run q4.py
run ec.py

7.负责此项任务的TA：Mohit Sharma(mohits1@andrew.cmu.edu）和Leonid Keselman(lkeselma@andrew.cmu.edu）。

1 同形(30分）

假设我们有两个摄像机C1和C2，它们看着3D空间中的公共平面Ⅱ。 Ⅱ上的任何3D点P都会在第一个摄像机C₁上的p =(u1; v1; 1）T处生成投影的2D点，而在第二个摄像机C₂上的q =(u2; v2; 1）T处会生成投影2D点。由于P限于平面Ⅱ，我们期望p和q之间存在关系。特别是，存在一个公共的3 * 3矩阵H，因此对于任何p和q，以下条件均成立：

我们称这种关系为平面单应性。回想一下p和q都在齐次坐标中，并且等式=意味着p与Hq成比例(回想齐次坐标）。事实证明，这种关系对于通过纯旋转而没有平面约束的摄像机也适用。

Q1.1同构(5分）
证明存在一个H，它满足给定的两个3 * 4摄像机投影矩阵M₁和M₂(分别对应于摄像机C₁，C₂和平面Ⅱ），满足方程1。不要为H生成实际的代数表达式。我们所要的只是证明H的存在。

注意：当平面Ⅱ包含两个相机的中心时，可能会发生退化的情况，在这种情况下，可以满足公式1的H的无限选择。您可以在答案中忽略这种情况。

Q1.2旋转下的单应性(5分）
证明给定两个由纯旋转分开的相机，存在满足x₁ = Hx₂的单应性H。也就是说，对于摄像机1，x₁ = K1 [I 0] X，对于摄像机2，x₂ = K₂ [R 0]X。请注意，K₁和K₂是两个摄像机的3 * 3本征矩阵，并且不同。 I是3 * 3单位矩阵，0是3 * 1零向量，X是3D空间中的一个点。 R是相机的3 * 3旋转矩阵。

Q1.3对应(10分）
令x1是图像中的一组点，而x2是另一台相机拍摄的图像中的相应点。假设存在一个单应性H：