GaussianDreamerPro安装与配置指南

GaussianDreamerPro安装与配置指南

GaussianDreamerPro GaussianDreamerPro: Text to Manipulable 3D Gaussians with Highly Enhanced Quality 项目地址: https://gitcode.com/gh_mirrors/ga/GaussianDreamerPro

1. 项目基础介绍

GaussianDreamerPro 是一个开源项目，旨在通过文本生成高质量的可操纵3D高斯分布。该项目基于3D高斯分布渲染技术，可以生成具有丰富细节和高质量的三维资产。主要编程语言包括 C++、Python、HTML、CMake、CSS 和 CUDA。

2. 项目使用的关键技术和框架

• 3D Gaussian Splatting (3D-GS): 用于重建和渲染真实世界场景的技术。
• Shap-E: 一种用于生成3D高斯资产的技术。
• PyTorch3D: 用于3D计算机视觉任务的PyTorch扩展库。
• Diffusion Models: 用于文本到图像生成的深度学习模型。
• CUDA: 用于加速深度学习模型训练的并行计算平台。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的计算机满足以下要求：

• Python 3.8
• CUDA 11.8
• Conda 或 Miniconda
• Git

详细安装步骤

1. 克隆项目仓库

   打开终端（或命令提示符），执行以下命令克隆项目仓库：

   git clone https://github.com/hustvl/GaussianDreamerPro.git
   cd GaussianDreamerPro
   

2. 创建虚拟环境并安装依赖

   创建一个名为 GaussianDreamerPro 的虚拟环境，并激活它：

   conda create -n GaussianDreamerPro python==3.8
   conda activate GaussianDreamerPro
   

   接下来，安装所需的依赖：

   pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118
   conda install -c iopath iopath
   conda install -c fvcore -c conda-forge fvcore
   pip install --no-index --no-cache-dir pytorch3d -f https://dl.fbaipublicfiles.com/pytorch3d/packaging/wheels/py38_cu118_pyt201/download.html
   pip install -r requirements.txt
   

3. 安装子模块

   项目中包含了一些子模块，需要单独安装：

   pip install ./submodules/diff-gaussian-rasterization
   pip install ./submodules/diff-gaussian-rasterization_2dgs
   pip install ./submodules/simple-knn
   

4. 下载预训练的Shap-E模型

   按照项目说明，下载finetuned Shap-E模型，并将其放在项目的 ./load 目录下。

5. 开始生成3D资产

   根据项目说明，进入 stage1 目录，并运行以下命令进行基本3D资产生成：

   cd stage1
   python train.py --opt './configs/temp.yaml' --prompt "a DSLR photo of a pair of tan cowboy boots, studio lighting, product photography" --initprompt "cowboy boots"
   

   对于具有24G GPU的用户，可以使用以下命令：

   python train.py --opt './configs/lowarm.yaml' --prompt "a DSLR photo of a pair of tan cowboy boots, studio lighting, product photography" --initprompt "cowboy boots"
   

6. 质量增强的3D资产生成

   进入 stage2 目录，并运行以下命令进行质量增强的3D资产生成：

   cd stage2
   python meshexport.py -c "path/to/stage1/output/prompt@2024xxx"
   python trainrefine.py --prompt "a DSLR photo of a pair of tan cowboy boots, studio lighting, product photography" --coarse_mesh_path "path/to/stage1/output/prompt@2024xxx/coarse_mesh/xxx.ply"
   

   请将 path/to/stage1/output/prompt@2024xxx 和 path/to/stage1/output/prompt@2024xxx/coarse_mesh/xxx.ply 替换为实际的文件路径。

完成以上步骤后，您应该能够成功安装和配置 GaussianDreamerPro 项目，并开始生成3D资产。

GaussianDreamerPro GaussianDreamerPro: Text to Manipulable 3D Gaussians with Highly Enhanced Quality 项目地址: https://gitcode.com/gh_mirrors/ga/GaussianDreamerPro