SelfIE: Self-Interpretation of Large Language Model Embeddings

本文是LLM系列文章，针对《SelfIE Self Interpretation of Large Language Model Embeddings》的翻译。

摘要

大型语言模型 （LLM） 如何获得答案？解释和控制 LLM 推理过程的能力是可靠性、透明度和未来模型开发的关键。我们提出了 SelfIE （Self-Interpretation of Embeddings），这是一个框架，使 LLM 能够通过利用其能力来回答有关给定段落的查询，从而在自然语言中解释自己的嵌入。SelfIE 能够解释隐藏嵌入中的开放世界概念，在做出道德决定、内化及时注入和召回有害知识等情况下揭示 LLM 内部推理。SelfIE 关于隐藏嵌入的文本描述为控制 LLM 推理开辟了途径。我们提出了 Supervised Control，它允许编辑开放式概念，同时只需要单个层的梯度计算。我们将 RLHF 扩展到隐藏的嵌入，并提出了 Reinforcement Control，可以在没有监督目标的情况下擦除 LLM 中的有害知识。

1 引言

大型语言模型（LLM）已成为从编程、问答到医疗保健等广泛应用