AbsGS：高精度三维高斯散点渲染的细节恢复

AbsGS：高精度三维高斯散点渲染的细节恢复

AbsGS 项目地址: https://gitcode.com/gh_mirrors/ab/AbsGS

在当今的三维渲染技术中，细节的精确恢复一直是提升画面质量的关键。AbsGS项目正是针对这一挑战，提出了一种新的方法，用于三维高斯散点渲染中精细细节的恢复。

项目介绍

AbsGS是一种先进的三维渲染技术，它通过优化高斯散点的过程，解决了传统方法中由于梯度碰撞导致的细节丢失问题。该项目在ACM MM 2024上发表，由Zongxin Ye、Wenyu Li、Sidun Liu、Peng Qiao和Yong Dou共同研发。

项目技术分析

AbsGS的核心技术是采用同向梯度作为密度控制的指导，以解决三维高斯散点渲染中的梯度碰撞问题。传统的3D-GS方法在处理复杂场景时，由于梯度碰撞，往往无法恢复出足够的细节，而AbsGS通过引入同向梯度的概念，有效避免了这一问题。

项目及技术应用场景

AbsGS的应用场景广泛，特别是在三维场景渲染、虚拟现实、增强现实等领域中，它可以提供更为精细和逼真的视觉效果。以下是AbsGS项目的主要应用场景：

• 三维场景渲染：在渲染静态或动态的三维场景时，AbsGS能够恢复出场景中的细微细节，提升图像质量。
• 虚拟现实（VR）：在VR应用中，AbsGS可以提供更高的视觉保真度，增强用户体验。
• 增强现实（AR）：在AR应用中，AbsGS能够帮助更好地融合虚拟物体与现实环境。

项目特点

AbsGS项目的特点如下：

1. 细节恢复：AbsGS能够恢复出传统3D-GS方法中丢失的细节，提高渲染质量。
2. 优化梯度碰撞：通过引入同向梯度，AbsGS减少了梯度碰撞的发生，提高了渲染的准确性。
3. 性能提升：AbsGS在保持与3D-GS相当的高斯点数量和内存消耗的同时，提供了更合理的点分布。
4. 消除过重建区域的大高斯点：AbsGS能够有效消除导致模糊的大高斯点，进一步优化图像质量。

以下是AbsGS项目的详细技术特点：

• 初始剪枝：AbsGS对输入的点云进行初始剪枝，以去除噪声和一致性不佳的点。
• 基于权重的剪枝：AbsGS根据高斯点在渲染过程中的贡献度（权重）进行剪枝，进一步优化点分布。
• 新的参数：AbsGS引入了多个新的参数，如--percent_dense、--densify_grad_threshold、--densify_grad_abs_threshold等，以细粒度控制渲染过程。

AbsGS项目的代码和训练流程已经开源，用户可以根据以下步骤进行安装和使用：

git clone git@github.com:TY424/AbsGS.git --recursive
conda env create --file environment.yml
conda activate Absgs

cd submodules/
python ./diff-gaussian-rasterization-abs/setup.py install
python ./simple-knn/setup.py install

训练和评估过程如下：

# Train
python train.py 
-s <path to COLMAP or NeRF Synthetic dataset>
-m <output path>
--eval # Train with train/test split

# Generate renderings
python render.py -s <path to COLMAP or NeRF Synthetic dataset> -m <output path>

# Compute error metrics on renderings
python metrics.py -m <path to trained model> 

# This script specifies the routine used in our evaluation
python full_eval.py -m360 <mipnerf360 folder> -tat <tanks and temples folder> -db <deep blending folder>

AbsGS项目为三维高斯散点渲染领域带来了一场革命，它的出现为高质量的三维场景渲染提供了新的可能。通过优化渲染流程和引入新的技术参数，AbsGS有望成为未来三维渲染技术的行业标准。

AbsGS 项目地址: https://gitcode.com/gh_mirrors/ab/AbsGS