【视觉三维重建】【论文笔记】高清3D高斯泼溅(Deblurring 3D Gaussian Splatting)

本文介绍了针对3D高斯泼溅渲染的去模糊技术,通过MLP对3D高斯协方差建模,实现实时高质量的图像重建。在训练中引入模糊,推理时去除,模拟类似于假性近视矫正的过程。实验结果显示该方法在保持高细节还原度的同时,提高了图像清晰度,达到了接近SOTA的性能。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

去模糊的3D高斯泼溅,比3D高斯更加精细,对场景物体细节的还原度更高,[官网](https://benhenryl.github.io/Deblurring-3D-Gaussian-Splatting/)

背景技术

Volumetric rendering-based nerual fields:NeRF.
Rasterization rendering: 3D-GS.
Rasterization比volumetric方法更加高效。

摘要

一种新的field-based的网络模型,实现对最新的rasterization rendering技术——3D高斯泼溅的去模糊。
设计MLP,对各个3D高斯的协方差建模;既能重建出优异、锐利的细节,又能保证实时渲染。

方法

一个MLP处理3D高斯模型,其输入包含视线方向向量 v v v,模型的位置 x x x、姿态 r r r、尺度系数 s s s,输出偏置量 δ r \delta r δr δ s

### 高斯效果的实现方法 高斯Gaussian Splatting)是一种通过将三维场景建模为一组离散的3D高斯分布来表示的技术。这种方法可以高效地重建复杂几何结构并支持高质量渲染[^2]。 #### 参数解析 在实现过程中,`args` 是一个包含模型路径和源路径等配置参数的对象;`gaussians` 表示用于管理场景中3D高斯分布的核心对象;`load_iteration` 定义了加载的具体迭代次数,当设置为 `-1` 时会自动寻找最后一次保存的模型状态;`shuffle` 控制是否对相机列表进行随机化排列;而 `resolution_scales` 则负责调整不同分辨率下相机数据的管理方式[^3]。 以下是基于 Python 的伪代码示例,展示如何初始化以及加载高斯模型: ```python import numpy as np class GaussianModel: def __init__(self, config_args): self.config = config_args def load_model(self, iteration=-1): if iteration == -1: model_path = max(glob.glob(f"{self.config.model_dir}/*"), key=os.path.getctime) else: model_path = f"{self.config.model_dir}/iter_{iteration}.ckpt" # 加载具体模型逻辑... return {"status": "loaded", "path": model_path} def main(): args = { 'model_dir': './models', 'source_data': './data' } gaussians = GaussianModel(args) result = gaussians.load_model() print(result) if __name__ == "__main__": main() ``` #### 反投影过程详解 为了获取语义高斯掩码,需先从多个视角渲染给定的一组3D高斯分布 Θ ,从而生成一系列渲染图像 ℐ 。随后利用二维分割技术提取对应的2D分割掩码ℳ,其中每个ℳ_i代表特定的语义标签[^4]。 此部分涉及较为复杂的图形学计算与机器学习算法集成,实际开发建议参考官方文档或开源项目资源进一步深入理解其内部机制。 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值