模型性能下降的秘密：原因与解决方案

在大规模语言模型（LLMs）的世界里，知识编辑技术如同一位急需更新信息的老者，虽然它的初衷是为了实现低成本的知识更新，但最近的研究却发现，这种编辑后的模型往往会表现出不同程度的性能下降。究竟是什么原因导致这种现象的出现？又该如何解决这个问题？本文将为你揭开这个谜团。

🧠 知识编辑技术的背景

知识编辑技术因其能以较低的成本更新错误或过时的知识而受到广泛关注。然而，随着知识的不断演变，LLMs 不可避免地会包含不正确或过时的信息。由于参数数量庞大，直接对模型进行微调需要大量的计算资源，这使得知识编辑技术成为一种有效的更新方式。

✍️ 研究现状

现有研究表明，编辑模型的性能下降主要是由于对模型参数的修改会导致灾难性遗忘（catastrophic forgetting），即模型会忘记之前编辑过的样本。此外，编辑后的模型在下游任务上也会显著降低性能，这严重制约了知识编辑技术的实际应用。然而，目前对这一现象背后的原因和解决方案的研究仍然不足。

📊 研究方法

为了解释编辑模型性能下降的原因，本文从数据和模型两个角度进行了深入探讨。首先，我们构建了一个多问题数据集（Multi-Question Dataset, MQD），