NVIDIA/RADTTS: 基于流的文本到语音转换框架

NVIDIA/RADTTS: 基于流的文本到语音转换框架

radtts Provides training, inference and voice conversion recipes for RADTTS and RADTTS++: Flow-based TTS models with Robust Alignment Learning, Diverse Synthesis, and Generative Modeling and Fine-Grained Control over of Low Dimensional (F0 and Energy) Speech Attributes. 项目地址: https://gitcode.com/gh_mirrors/ra/radtts

项目基础介绍

NVIDIA/RADTTS 是一个开源项目，它提供了一个基于流的文本到语音（TTS）转换框架。该项目使用 Python 作为主要的编程语言，通过先进的深度学习技术，实现高质量的语音合成。

核心功能

项目的核心功能包括：

1. 基于流的文本到梅尔频谱图映射：RADTTS 采用正常化流 bipartite 架构，将文本映射到梅尔频谱图。

2. 音高（F0）和能量条件：RADTTS++ 是上述架构的变种，它基于音高和能量条件进行解码。

3. 显式建模文本条件音素时长：项目包含正常化流模型，用于显式建模文本条件音素时长、基频（F0）和能量。

4. 无监督文本-音频对齐：提供独立的对齐模块，用于学习无监督的文本-音频对齐，这对 TTS 训练至关重要。

5. HiFi-GAN 电平器预训练模型：项目提供了在 LibriTTS 100 和 360 上训练的 HiFi-GAN 电平器预训练模型。

6. 预训练的 RADTTS 模型：包括基于不同数据集的预训练模型，如 LJSpeech。

最近更新的功能

根据项目最新的更新，以下是一些新增或改进的功能：

• 增强的属性预测器：增加了对属性预测器的支持，包括自回归流（agap）、双边流（bgap）或确定性（dap）。

• 多 GPU 分布式训练：支持在多 GPU 环境下进行分布式训练，提高了训练效率和模型性能。

• 推理和语音转换演示：提供了推理和语音转换的演示，方便用户快速体验和验证模型的性能。

• 配置文件优化：对配置文件进行了优化，使得用户可以更灵活地配置训练和推理过程。

以上是对 NVIDIA/RADTTS 项目的简要介绍和核心功能的概述，该项目在开源社区中具有较高的认可度，适合对语音合成技术感兴趣的开发者和研究人员使用和探索。

radtts Provides training, inference and voice conversion recipes for RADTTS and RADTTS++: Flow-based TTS models with Robust Alignment Learning, Diverse Synthesis, and Generative Modeling and Fine-Grained Control over of Low Dimensional (F0 and Energy) Speech Attributes. 项目地址: https://gitcode.com/gh_mirrors/ra/radtts