《ManiGaussian项目安装与配置指南》

《ManiGaussian项目安装与配置指南》

ManiGaussian [ECCV 2024] ManiGaussian: Dynamic Gaussian Splatting for Multi-task Robotic Manipulation 项目地址: https://gitcode.com/gh_mirrors/ma/ManiGaussian

1. 项目基础介绍

ManiGaussian是一个开源的机器人操纵项目，旨在通过学习执行各种语言条件的机器人操纵任务。该项目由一个动态高斯散布框架和一个高斯世界模型组成，用于模拟场景级别的时空动态。动态高斯散布框架在高斯嵌入空间中模拟语义特征的传播，以实现操纵任务。而高斯世界模型通过重构未来场景来为任务提供监督。

项目主要使用的编程语言是Python。

2. 项目使用的关键技术和框架

• 动态高斯散布框架：用于在机器人操纵中模拟语义特征的传播。
• 高斯世界模型：用于重构未来场景，为机器人操纵任务提供监督。
• 行为克隆（Behavioral Cloning）：一种学习策略，通过观察专家的行为来训练机器人模型。

项目还依赖于以下框架和库：

• PyTorch：深度学习框架，用于实现项目中的神经网络。
• Wandb（Weights & Biases）：用于实验跟踪和可视化。
• GNFactor：项目的主要基础库之一。

3. 项目安装和配置的准备工作与详细步骤

准备工作

在开始安装之前，请确保您的系统中已安装以下依赖项：

• Python 3.x
• pip（Python 包管理器）
• CUDA（NVIDIA GPU加速库）

安装步骤

第一步：克隆项目仓库

打开命令行终端，执行以下命令克隆项目仓库：

git clone https://github.com/GuanxingLu/ManiGaussian.git

第二步：安装依赖项

进入项目目录，安装项目所需的Python依赖项：

cd ManiGaussian
pip install -r requirements.txt

第三步：安装GNFactor

本项目依赖于GNFactor库，需要按照以下步骤安装：

git clone https://github.com/ZecongLi/GNFactor.git
cd GNFactor
pip install -r requirements.txt
python setup.py install

第四步：配置环境变量

根据您的操作系统，配置环境变量以包含CUDA路径。

对于Linux系统：

export PATH=/usr/local/cuda-<version>/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-<version>/lib64:$LD_LIBRARY_PATH

请将<version>替换为您安装的CUDA版本。

第五步：运行示例脚本

安装完成后，可以运行示例脚本来生成演示、训练模型和评估结果。

• 生成演示：

bash scripts/gen_demonstrations_all.sh

• 训练模型：

bash scripts/train_and_eval_w_geo.sh ManiGaussian_BC 0,1 12345 your_exp_name

将your_exp_name替换为您想要的实验名称。

• 评估模型：

bash scripts/eval.sh ManiGaussian_BC your_exp_name 0

请确保替换your_exp_name为您之前训练时指定的实验名称。

按照以上步骤操作，您应该能够成功安装和配置ManiGaussian项目，并开始进行机器人操纵的学习和实验。

ManiGaussian [ECCV 2024] ManiGaussian: Dynamic Gaussian Splatting for Multi-task Robotic Manipulation 项目地址: https://gitcode.com/gh_mirrors/ma/ManiGaussian