视频分割项目VideoLISA的使用教程

视频分割项目VideoLISA的使用教程

VideoLISA [NeurlPS 2024] One Token to Seg Them All: Language Instructed Reasoning Segmentation in Videos 项目地址: https://gitcode.com/gh_mirrors/vi/VideoLISA

1. 项目的目录结构及介绍

VideoLISA项目是一个开源的视频分割项目，其目录结构如下：

• assets/: 存储项目相关的资源文件，如图像、视频等。
• evaluation/: 包含评估不同数据集的脚本和配置文件。
• examples/: 存储用于演示的示例视频和数据。
• model/: 包含模型定义和训练相关代码。
• utils/: 存储数据预处理和辅助函数的代码。
• xmem2_example/: 包含使用XMem2进行后优化的示例代码。
• BENCHMARK.md: 提供项目所用数据集的详细信息。
• CODE_OF_CONDUCT.md: 项目的行为准则。
• CONTRIBUTING.md: 贡献指南，说明如何为项目做贡献。
• LICENSE: 项目使用的许可证信息。
• NOTICE: 项目的通知和声明。
• README.md: 项目的主描述文件。
• benchmark_check.py: 用于检查数据集准备情况的脚本。
• chat.py: 推理示例脚本，用于与模型交互。
• hostfile_8nodes: 分布式训练的节点配置文件示例。
• merge_lora_weights_and_save_hf_model.py: 合并LoRA权重并保存模型的脚本。
• pyproject.toml: 项目配置文件。
• run_train.sh: 训练脚本的示例。

2. 项目的启动文件介绍

项目的启动文件主要包括以下几个：

• chat.py: 这个脚本用于运行推理示例。可以通过修改命令行参数来指定模型版本、视觉塔模型、视频帧数量等。
• run_train.sh: 这是训练脚本的示例，可以用于启动训练过程。脚本中包含了训练所需的命令和参数，例如批次大小、梯度累积步数等。

启动推理示例的命令如下：

CUDA_VISIBLE_DEVICES=0 python chat.py \
--version="ZechenBai/VideoLISA-3.8B" \
--vision_tower="openai/clip-vit-large-patch14-336" \
--num_frames_dense=4 \
--num_frames_sparse=32 \
--save_overlay

3. 项目的配置文件介绍

项目的配置文件主要集中在pyproject.toml和各个脚本中的参数配置。

• pyproject.toml: 这个文件包含了项目的元数据和依赖信息。在使用pip安装项目时，这个文件会被用来确定需要安装哪些依赖。

其他脚本中的参数配置通常以命令行参数的形式提供，例如在chat.py中，可以通过命令行指定模型版本、视觉塔模型等参数。这些参数可以直接在命令行中修改，或者在脚本中进行修改。

在训练脚本run_train.sh中，可以看到一些训练相关的配置，如批次大小、学习率等。这些配置可以根据实际硬件情况和训练需求进行调整。

以上就是VideoLISA项目的基本介绍和使用方法。在开始使用之前，请确保已经安装了所有必要的依赖，并正确配置了环境。

VideoLISA [NeurlPS 2024] One Token to Seg Them All: Language Instructed Reasoning Segmentation in Videos 项目地址: https://gitcode.com/gh_mirrors/vi/VideoLISA