本文是LLM系列文章,针对《Do Large Language Model Understand Multi-Intent Spoken Language ?》的翻译。
摘要
这项研究标志着在利用大型语言模型(LLM)进行多意图口语理解(SLU)方面取得了重大突破。我们的方法重新设想了在多意图SLU应用程序中使用实体槽,充分利用SLU环境中LLM的生成潜力,从而开发了EN-LLM系列。此外,我们引入了子意图指令(SII)的概念,以扩大对复杂、多意图通信的分析和解释,这进一步支持了ENSI-LLM模型系列的创建。我们的新数据集,被确定为LM MixATIS和LM MixSNIPS,是从现有的基准合成的。研究表明,LLM的性能可能达到甚至超过当前最佳的多意图SLU模型。我们还仔细检查了LLM在一系列意图配置和数据集分布中的性能。除此之外,我们提出了两个革命性的指标——实体槽精度(ESA)和组合语义精度(CSA)——以促进对LLM在这一多方面领域能力的详细评估。“我们的代码和数据集在https://github.com/SJY8460/SLM可用。