文章主要内容
本文针对语音情感识别(SER)中人工标注成本高、一致性差的问题,提出利用大型语言模型(LLMs)中的GPT-4o进行多模态情感数据自动标注的方法。作者基于《老友记》电视剧构建了多模态情感数据集MELT,仅通过文本提示引导GPT-4o生成情感标注,无需直接访问音频/视频数据。实验表明,MELT在主观评分(MOS)和客观分类任务中均优于人工标注的MELD数据集,且成本显著降低(≤10美元)。研究验证了LLMs在多模态标注中的潜力,为自动化情感数据标注提供了新范式。
创新点
-
首次将GPT模型用于多模态情感数据标注
利用GPT-4o训练中积累的隐含知识(如对《老友记》的文化认知),仅通过文本提示实现音频情感标注,突破传统依赖人工或多模态输入的限制。 -
提出上下文感知的自动标注框架
结合思维链推理(CoT)和交叉验证的提示工程,确保标注的一致性和准确性,生成包含情感标签、音高、响度等细粒度特征的结构化输出。 -
构建低成本、高质量的MELT数据集
相比人工标注