TANGO: 开源项目使用教程

TANGO: 开源项目使用教程

TANGO Official implementation of the paper "TANGO: Co-Speech Gesture Video Reenactment with Hierarchical Audio-Motion Embedding and Diffusion Interpolation" 项目地址: https://gitcode.com/gh_mirrors/tango7/TANGO

1. 项目介绍

TANGO项目是一个开源的协同语音手势视频重现系统。该项目通过分层音频-运动嵌入和扩散插值技术，实现了对协同语音时手势动作的精确重现。TANGO项目适用于研究领域，旨在为相关研究提供一种高效的技术解决方案。

2. 项目快速启动

环境准备

• 推荐Python版本：3.9.20
• 推荐CUDA版本：11.8

克隆仓库

首先，你需要克隆TANGO项目仓库：

git clone https://github.com/CyberAgentAILab/TANGO.git
cd TANGO

安装依赖

接着，安装项目所需的依赖库：

# 创建虚拟环境（可选）
conda create -n tango python==3.9.20
conda activate tango

# 安装依赖
pip install -r ./pre-requirements.txt
pip install -r ./requirements.txt

运行推理

在项目根目录下运行以下命令，生成视频：

python app.py

首次运行将自动下载必要的检查点和预计算图，请确保至少有35GB的磁盘空间。

创建角色图

如果你需要为自定义角色创建图，可以使用以下命令：

python create_graph.py

3. 应用案例和最佳实践

• 案例一：使用TANGO对公开演讲视频中的手势进行重现，以增强演讲的视觉效果。
• 案例二：在教育领域，利用TANGO技术帮助学习者更好地理解演讲者的非语言交流信息。

最佳实践

• 确保输入视频质量，以便获得更准确的手势重现效果。
• 使用项目提供的工具和脚本，如blender插件，来查看和调整结果。

4. 典型生态项目

TANGO项目依赖于以下几个开源项目：

• Wav2Lip：用于同步视频中的口型。
• FiLM：提供了一些有用的图像处理工具。
• SMPLerX：用于处理人体模型。

这些项目共同构成了TANGO的生态系统，为协同语音手势视频重现提供了全面的解决方案。

TANGO Official implementation of the paper "TANGO: Co-Speech Gesture Video Reenactment with Hierarchical Audio-Motion Embedding and Diffusion Interpolation" 项目地址: https://gitcode.com/gh_mirrors/tango7/TANGO