A CLOSER LOOK AT MACHINE UNLEARNING FOR LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《A CLOSER LOOK AT MACHINE UNLEARNING FOR LARGE LANGUAGE MODELS》的翻译。

摘要

大型语言模型 （LLM） 可能会记住敏感或受版权保护的内容，从而引发隐私和法律问题。由于从头开始重新训练的成本很高，研究人员尝试使用机器遗忘学习从 LLM 中删除特定内容，同时保持整体性能。在本文中，我们讨论了 LLM 机器学习中的几个问题，并提供了我们对可能方法的见解。为了解决忘却后模型输出评估不充分的问题，我们引入了三个额外的指标来评估标记多样性、句子语义和事实正确性。然后，我们将忘却方法分为 untargeted 和 targeted，并分别讨论它们的问题。具体来说，非定向忘却尝试近似的行为是不可预测的，并且可能涉及幻觉，而现有的正则化不足以进行定向忘却。为了缓解这些问题，我们建议使用最大化熵 （ME） 的目标来实现非定向学习，并将答案保留 （AP） 损失作为定向取消学习的正则化。三种场景的实验结果，即虚构的忘却、持续的忘却和现实世界的忘却，证明了我们方法的有效性。该代码可在 https://github.com/sail-sg/closer-look-LLM-unle