Do Large Language Models Know How Much They Know?

本文是LLM系列文章，针对《Do Large Language Models Know How Much They Know?》的翻译。

摘要

大型语言模型（LLM）已经成为功能强大的系统，并且越来越多地被集成到各种用途中。然而，其部署速度之快超过了对其内部机制的全面了解以及对其能力和局限性的界定。智能系统的一个理想属性是它识别自身知识范围的能力。为了研究LLM是否体现了这一特征，我们开发了一个基准测试，旨在挑战这些模型，以枚举它们在特定主题上拥有的所有信息。该基准评估模型是否回忆起过多、不足或精确的信息量，从而表明他们对自己知识的认识。我们的研究结果表明，所有经过测试的LLM，如果规模足够大，都表明他们对特定主题的了解程度。虽然不同的架构表现出这种能力出现的速度不同，但结果表明，知识意识可能是LLM的一个普遍属性。需要进一步的研究来证实这一潜力，并充分阐明其潜在机制。

1 引言

2 相关工作

3 方法

4 实验

5 讨论

6 结论

本研究的重点是确定LLM是否了解自己对特定主题的知识范围。值得注意的是，我们