Mini-Omni2: Towards Open-source GPT-4o with Vision, Speech and Duplex Capabilities

本文是LLM系列文章，针对《Mini-Omni2: Towards Open-source GPT-4o with Vision, Speech and Duplex Capabilities》的翻译。

摘要

GPT-4o是一个包罗万象的模型，代表了大型多模态语言模型发展的一个里程碑。它可以理解视觉、听觉和文本模式，直接输出音频，并支持灵活的双工交互。开源社区的模型通常可以实现GPT-4o的一些功能，如视觉理解和语音聊天。然而，由于多模态数据、复杂的模型架构和训练过程的复杂性，训练一个包含所有模态的统一模型是具有挑战性的。在本文中，我们介绍了Mini-Omni2，一种能够为视觉和音频查询提供实时端到端语音响应的视听助手。通过集成预训练的视觉和听觉编码器，Mini-Omni2可以保持单个模态的性能。我们提出了一个三阶段的训练过程来调整模式，使语言模型能够在有限的数据集上训练后处理多模态输入和输出。对于交互，我们引入了一种基于命令的中断机制，使与用户的交互更加灵活。据我们所知，Mini-Omni2是GPT-4o最接近的复制品之一，具有类似的功能形式，我们希望它能为后续研究提供有价值的见解。

1 引言

2 相关工作

3 Mini-Omni2