Talking the Talk Does Not Entail Walking the Walk: On the Limits of Large Language Models

本文是LLM系列文章，针对《Talking the Talk Does Not Entail Walking the Walk: On the Limits of Large Language Models in Lexical Entailment Recognition》的翻译。

摘要

动词构成了语言的支柱，为句子提供了结构和意义。然而，它们错综复杂的语义细微差别构成了一个长期的挑战。通过词汇蕴涵的概念理解动词关系对于理解句子含义和把握动词动态至关重要。这项工作研究了八种大型语言模型通过不同设计的提示策略和对来自两个词汇数据库（即 WordNet 和 HyperLex）的动词对的零/小样本设置来识别动词之间的词汇蕴涵关系的能力。我们的研究结果揭示了这些模型可以以中等好的性能处理词汇蕴涵识别任务，尽管有效性程度不同，条件不同。此外，使用小样本提示可以提高模型的性能。然而，完美解决这项任务对所有接受研究的 LLM 来说都是一个未解决的挑战，这为该主题的进一步研究发展提出了前景。

1 引言

2 相关工作

3 本研究中使用的资源

4 方法

5 结果

6 结论

我们介绍了 LLM 代表机构在处理词