ETH & Meta全新开源！FlowR：弥补稀疏和稠密3D重建之间的差距！-CSDN博客

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：3D视觉工坊

添加小助理：cv3d001，备注：方向+单位+昵称，拉你入群。文末附行业细分群。

扫描下方二维码，加入「3D视觉从入门到精通」知识星球(点开有惊喜)，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20+门独家视频课程、100+场顶会直播讲解、最新顶会论文分享、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

ETH & Meta全新开源！FlowR：弥补稀疏和稠密3D重建之间的差距！

太长不看版：我们提出了FlowR，这是一种新型的流水线技术，它弥补了稀疏和密集三维重建之间的差距。与先前的工作相反，我们学习不正确的渲染和它们相应的地面真实图像之间的直接映射，用一致的新颖的、生成的视图来增强场景捕捉，以提高重建质量。

0. 论文信息

标题：FlowR: Flowing from Sparse to Dense 3D Reconstructions

作者：Tobias Fischer, Samuel Rota Bulò, Yung-Hsu Yang, Nikhil Varma Keetha, Lorenzo Porzi, Norman Müller, Katja Schwarz, Jonathon Luiten, Marc Pollefeys, Peter Kontschieder

机构：ETH Zurich、Meta Reality Labs Zurich、CMU

原文链接：https://arxiv.org/abs/2504.01647

代码链接：https://tobiasfshr.github.io/pub/flowr

1. 导读

3D高斯分布支持实时帧速率的高质量新视图合成(NVS)。然而，它的质量急剧下降，因为我们偏离了培训的观点。因此，需要密集捕获来满足某些应用程序的高质量期望，例如虚拟现实(VR)。然而，获得如此密集的捕获是非常费力和昂贵的。现有的工作已经探索了使用2D生成模型，通过提取或生成额外的训练视图来减轻这种要求。这些方法通常仅取决于少数参考输入视图，因此没有充分利用可用的3D信息，导致不一致的生成结果和重建伪影。为了解决这个问题，我们提出了一种多视图流匹配模型，该模型学习一种流，以将来自可能稀疏重建的新视图渲染连接到我们期望来自密集重建的渲染。这使得能够用新颖的、生成的视图来增强场景捕捉，以提高重建质量。我们的模型在一个3.6M图像对的新数据集上进行训练，可以在一个H100 GPU上以540x960分辨率(91K令牌)处理多达45个视图。我们的管道不断改善稀疏和密集视图场景中的NVS，从而在多个广泛使用的NVS基准上实现比以前更高质量的重建。

2. 效果展示

DL3DV140上的定性重建结果。我们展示了几个重建的测试视图渲染示例从我们的基线和我们方法在更具挑战性的 12 视图分割中获得的。

scannet++重建结果：

3. 主要贡献

我们开发了一个可扩展和稳健的3D重建管道，能够从任意视图分布生成半密集、度量级别的3D重建，并收集了一个包含360万渲染图像和地面真实图像对的大规模数据集。

我们提出了一种流匹配公式，直接纳入初始重建中分布的替代。的新视图渲染，作为初始“噪声”

我们证明，通过简单地将由我们的流匹配模型固定的新颖视图渲染集成到重建过程中，我们训练好的模型在稀疏和密集视图情况下都能提高3D重建的质量。

我们证明，我们的方法在各种基准上都能产生卓越的新视图合成结果，在稀疏和密集视图情况下都优于先前的方法。

4. 方法

FlowR由两部分组成:

（1）基于3DGS的健壮的初始重建管道，但设计用于稀疏和密集视图设置。

（2）一种数据增密过程，其使用流匹配来生成可用于改进重建的高质量额外视图。

初始重建

我们在稀疏的共同可见性图上使用MASt3R来估计跟踪的对应关系，这些对应关系然后被用于三角测量初始点云，从该点云我们拟合初始3DGS表示。我们使用它来创建10.3k重建场景的数据集，覆盖360万对新颖的视图重建及其相应的地面真实图像，在此基础上我们训练我们的流匹配模型。推荐课程：基于深度学习的三维重建MVSNet系列 [论文+源码+应用+科研]。

通过流量匹配进行数据加密

流匹配是用于生成建模的范例，其中模型学习速度场，该速度场可用于将来自噪声分布的样本映射到来自数据分布的样本。然而，在这项工作中，我们不是对噪声和数据之间的速度场进行建模，而是对不正确的新视图渲染和该视点的相应真实图像之间的速度场进行建模:

从稀疏到密集的3D重建。与之前的扩散和流匹配模型将标准多元高斯分布po(z)映射到一个(通常是条件)目标分布p1(zy)相反，我们考虑形式为po(zy)的源分布。我们使用稀疏重建的新视图渲染作为源分布样本，并将其映射到目标分布p1(zy)，该分布表示在最佳、密集条件下(即地面真相)获得的重建。

5. 实验结果

6. 总结

我们引入了FlowR，这是一种新颖的管道，可以弥合稀疏和密集3D重建之间的差距。我们的方法通过学习将错误的渲染映射到相应的地面真实图像来增强NVS。通过在360万对图像的大型数据集上进行训练，FlowR在稀疏和密集视图情况下显著提高了3DGS的性能，优于仅依赖2D条件合成的前代生成方法。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

论文辅导&招募辅导老师

3D硬件专区

3D视觉知识星球

扫描下方二维码，加入「3D视觉从入门到精通」知识星球(点开有惊喜)，已沉淀7年，星球内资料包括：3D视觉系列视频近20+门、100+场直播顶会讲解、项目对接、3D视觉学习路线总结、最新顶会论文&代码、3D视觉行业最新模组、3D视觉优质源码汇总、书籍推荐、编程基础&学习工具、实战项目&作业、求职招聘&面经&面试题等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步！