BandIt 安装与配置指南

BandIt 安装与配置指南

bandit BandIt: Cinematic Audio Source Separation 项目地址: https://gitcode.com/gh_mirrors/bandit2/bandit

1. 项目基础介绍

BandIt 是一个用于电影音频源分离的开源项目，旨在从音频混合中提取对话、音乐和效果元素。该项目的核心是一个广义的频带分割神经网络，它能够对任何完整或过完整的频率轴分割进行建模。项目使用多种心理声学驱动的频率尺度来定义频带，以便更可靠地提取特征。此外，项目还提出了一个由信噪比和 1-范数稀疏促进属性启发的损失函数。BandIt 的最佳模型在 Divide and Remaster 数据集上的性能超过了理想比例掩码。

项目的主要编程语言是 Python。

2. 关键技术和框架

• 频带分割神经网络：BandIt 扩展了传统的 Bandsplit RNN，使其能够处理任何完整或过完整的频率轴分割。
• 心理声学驱动的频率尺度：使用不同的频率尺度，如 Bark、ERB、Mel 和 Music 尺度，来优化特征提取。
• 损失函数：提出了一个结合信噪比和稀疏性的损失函数，以优化模型的性能。
• 共同编码器：通过共同编码器的设计，减少了训练和推理过程中的计算复杂度，并提高了对难以泛化的声音类别的分离性能。
• 可分离解码器：在推理时，解码器可以分离，提供更大的灵活性。

3. 安装和配置

准备工作

在开始安装之前，请确保您的系统已安装以下依赖项：

• Python 3.x
• pip
• CUDA（如果使用 GPU）

安装步骤

1. 安装环境依赖

首先，从项目仓库中获取环境依赖文件：

git clone https://github.com/karnwatcharasupat/bandit.git
cd bandit

然后，使用以下命令安装环境依赖：

pip install -r environment.yaml

2. 获取数据集

项目依赖于 Divide and Remaster (DnR) 数据集和 MUSDB18-HQ 数据集。您可以从以下链接下载这些数据集：

# 下载 DnR 数据集
wget [DnR 数据集下载链接]

# 下载 MUSDB18-HQ 数据集
wget [MUSDB18-HQ 数据集下载链接]

请注意，您需要替换 [DnR 数据集下载链接] 和 [MUSDB18-HQ 数据集下载链接] 为实际的数据集下载链接。

3. 数据预处理

对每个数据集运行预处理脚本：

python preprocess.py

4. 训练模型

运行以下命令开始训练模型：

python train.py expt/path-to-the-desired-experiment.yaml

在这里，expt/path-to-the-desired-experiment.yaml 是您选择的实验配置文件的路径。

5. 测试模型

训练完成后，使用以下命令测试模型：

python test.py expt/path-to-the-desired-experiment.yaml --ckpt_path=path/to/checkpoint-from-training.ckpt

在这里，path/to/checkpoint-from-training.ckpt 是训练过程中保存的模型检查点的路径。

6. 推理

对于推理，您需要获取训练好的模型检查点，并将其与对应的配置文件放在同一子文件夹中。将配置文件重命名为 hparams.yaml，然后使用以下命令进行推理：

python inference.py inference \
  --ckpt_path=path/to/checkpoint.ckpt \
  --file_path=path/to/file.wav \
  --model_name=model_id

在这里，path/to/checkpoint.ckpt 是模型检查点的路径，path/to/file.wav 是待处理音频文件的路径，model_id 是模型的标识符。

请按照以上步骤操作，您应该能够成功安装和配置 BandIt 项目。如果您在安装过程中遇到任何问题，请查看项目文档或向项目维护者寻求帮助。

bandit BandIt: Cinematic Audio Source Separation 项目地址: https://gitcode.com/gh_mirrors/bandit2/bandit