Constructions Are So Difficult That Even Large Language Models Get Them Right for the Wrong Reasons

本文是LLM系列文章，针对《Constructions Are So Difficult That Even Large Language Models
Get Them Right for the Wrong Reasons》的翻译。

摘要

在本文中，我们所做的贡献可以从两个角度来理解：从NLP的角度来看，我们为NLI引入了一个具有大词汇重叠的小挑战数据集，该数据集最大限度地减少了模型仅基于标记区分来识别隐含的可能性，并表明GPT-4和Llama 2在很大程度上不符合要求。然后，我们创建了更具挑战性的子任务来解释这一失败。从计算语言学的角度来看，我们识别出一组具有三类形容词的结构，这些形容词不能通过表面特征来区分。这使我们能够以各种方式探究LLM对这些结构的理解，我们发现它们在各种方式上都无法区分它们，这表明它们没有充分表达其含义或捕捉短语头的词汇特性。

1 引言

2 相关工作

3 数据集

4 自然语言推理

5 语法可接受

6 结论

总的来说，我们最引人注目的结果仍然是，LLM在我们的NLI任务中没有充分发挥作用，而这一结