【大模型连续学习之ProgPrompt算法】2023年论文：Progressive Prompts Continual Learning for Language Models

1 介绍

年份：2023

期刊： arXiv preprint

引用量：94

Razdaibiedina A, Mao Y, Hou R, et al. Progressive prompts: Continual learning for language models[J]. arXiv preprint arXiv:2301.12314, 2023.

本文介绍了一种名为“渐进提示”（Progressive Prompts）的方法，用于在不依赖数据回放或大量任务特定参数的情况下，通过为每个新任务学习一个软提示并将其与之前学习的提示串联起来，实现语言模型在连续学习中的正向迁移和抵抗灾难性遗忘。

2 创新点

1. 渐进提示方法：提出了一种新的连续学习方法，通过为每个新任务学习一个单独的提示（prompt），并将其与之前学习的提示串联起来，而不是修改旧任务的参数，从而避免了灾难性遗忘。
2. 抵抗灾难性遗忘：通过保留在先前提示中获得的知识，有效减轻了在连续学习过程中对先前任务知识遗忘的问题。
3. 正向迁移：通过顺序学习新提示，允许将知识从过去的任务转移到新的任务，提高了新任务的学习效率。
4. 参数效率：与训练整个模型的方法相比，渐进提示方法只学习固定数量的令牌（tokens）作为提示，显著减少了参数的学习量，不到总参数的0.1%。
5. 适用于任何基于变换器的架构：该方法不仅限于特定的模型，可以适用于任何基于变换器（transformer）的架构，如BERT和T5模型。
6. 挑战性实验设置：通过创建包含15个文本分类任务的挑战性连续学习设置，展示了该方法在更长任务序列上的性能。
7. 嵌入式重新参数化技术：引入了一种新的提示嵌入重新参数化技术，通过残差多层感知机（MLP）来稳定提示调整并提高性能。

3 相关研究

1. 预训练语言模型在单任务学习中的成功：
   • de Masson D’Autume et al., 2019
   • Huang et al., 2021
2. 连续学习中的挑战：
   • McCloskey & Cohen, 1989
   • Ratcliff, 1990
3. 数据回放（Data Replay）或正则