AAAI'25开源 | 碾压2D GS！清华新作FatesGS：让高精度曲面重建加速200倍！-CSDN博客

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：3D视觉工坊

添加小助理：cv3d001，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。

扫描下方二维码，加入「3D视觉从入门到精通」知识星球(点开有惊喜)，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门秘制视频课程、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

0. 论文信息

标题：FatesGS: Fast and Accurate Sparse-View Surface Reconstruction using Gaussian Splatting with Depth-Feature Consistency

作者：Han Huang, Yulun Wu, Chao Deng, Ge Gao, Ming Gu, Yu-Shen Liu

机构：Tsinghua University

原文链接：https://arxiv.org/abs/2501.04628

代码链接：https://alvin528.github.io/FatesGS/

1. 导读

最近，高斯Splatting在计算机视觉领域引发了一股新的潮流。除了新颖的视图合成，它还被扩展到多视图重建领域。最新的方法有助于完整、详细的表面重建，同时确保快速的训练速度。然而，这些方法仍然需要密集的输入视图，并且它们的输出质量随着稀疏视图而显著降低。我们观察到高斯基元倾向于过度拟合少数训练视图，导致噪声浮动和不完整的重建表面。在本文中，我们提出了一种创新的稀疏视图重建框架，该框架利用视图内深度和多视图特征一致性来实现非常精确的表面重建。具体来说，我们利用单目深度排序信息来监控片内深度分布的一致性，并采用平滑损失来增强分布的连续性。为了实现更精细的表面重建，我们通过多视图投影特征来优化深度的绝对位置。在DTU和BlendedMVS上的大量实验表明，我们的方法优于目前最先进的方法，加速比达到60倍到200倍，实现了快速和细粒度的网格重建，而不需要昂贵的预训练。

2. 效果展示

从DTU扫描24的三视图图像中重建表面。最流行的通用方法2DGS虽然速度快，但结果粗糙。最先进的逐场景优化方法NeuSurf和泛化方法UFORecon生次优的表面，且需要较长的训练时间。相比之下，我们的方法(FatesGS)可以实现快速和详细的重建。*预训练时间。

3视图重建结果对比。

DTU重建结果对比：

3. 方法

从一组稀疏的输入视图开始，我们使用COLMAP初始化2D高斯，并使用splatting来渲染RGB图像和深度图。为了增强几何学习过程，我们整合了来自单目深度估计的排序信息，并应用深度平滑来确保视图内深度的一致性。为了进一步细化几何形状，我们通过将估计的表面点投影到源图像上来对齐提取的多视图特征。推荐课程：实时400FPS！高精NeRF/Gaussian SLAM定位与建图。

4. 实验结果

5. 总结

在这篇论文中，我们提出了FatesGS，一种利用高斯插值管道进行稀疏视图表面重建的新方法。为了克服稀疏视图中因过度拟合而导致的几何崩溃，我们通过视图内深度一致性来增强粗几何的学习。对于更精细的几何细节，我们优化了多视图特征一致性。我们的方法在各种稀疏设置下都表现稳健，不需要大规模的训练。与之前的方法不同，我们的方法消除了长期逐场景优化和昂贵的领域先验训练的需要。我们展示了在两种不同环境下稀疏视图表面重建的最先进结果并在广泛使用的DTU和混合MVS数据集上进行了验证。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

3D视觉交流群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括2D计算机视觉、最前沿、工业3D视觉、SLAM、自动驾驶、三维重建、无人机等方向，细分群包括：

工业3D视觉：相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

三维重建：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

2D计算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D缺陷检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿：具身智能、大模型、Mamba、扩散模型、图像/视频生成等

除了这些，还有求职、硬件选型、视觉产品落地、产品、行业新闻等交流群

添加小助理: cv3d001，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。

▲长按扫码添加助理：cv3d001

3D视觉工坊知识星球

「3D视觉从入门到精通」知识星球(点开有惊喜)，已沉淀6年，星球内资料包括：秘制视频课程近20门（包括结构光三维重建、相机标定、SLAM、深度估计、3D目标检测、3DGS顶会带读课程、三维点云等）、项目对接、3D视觉学习路线总结、最新顶会论文&代码、3D视觉行业最新模组、3D视觉优质源码汇总、书籍推荐、编程基础&学习工具、实战项目&作业、求职招聘&面经&面试题等等。欢迎加入3D视觉从入门到精通知识星球，一起学习进步。

▲长按扫码加入星球

3D视觉工坊官网：www.3dcver.com

大模型、扩散模型、具身智能、3DGS、NeRF、结构光、相位偏折术、机械臂抓取、点云实战、Open3D、缺陷检测、BEV感知、Occupancy、Transformer、模型部署、3D目标检测、深度估计、多传感器标定、规划与控制、无人机仿真、C++、三维视觉python、dToF、相机标定、ROS2、机器人控制规划、LeGo-LAOM、多模态融合SLAM、LOAM-SLAM、室内室外SLAM、VINS-Fusion、ORB-SLAM3、MVSNet三维重建、colmap、线面结构光、硬件结构光扫描仪等。