增量学习记录

最近看了点增量学习相关的内容，简单的记录一下（以下的内容都是基于深度学习的）。

（注：文中的图均是论文中的截图）

参考的综述文章：

[1]孙文举, et al."基于深度神经网络的增量学习研究综述."数据分析与知识发现 1-39.

一、增量学习相关基础知识

1、增量学习的概念

        大多数机器学习方法依赖训练数据服从独立同分布的假设，对于已经训练完毕的模型，若希望其能够学习新知识（如识别新的类别），通常需要重新构建平衡的数据集并对模型进行重训。否则直接利用新数据（如新类别样本）进行微调会引起模型处理旧任务的性能下降，这种现象被称为“灾难性遗忘”。增量学习的目的是将已学旧任务信息引入新任务的训练过程，从而缓解模型对数据独立同分布假设的依赖。增量学习是一种面向数据逐步增长的学习策略。与其他相似学习范式相比，增量学习特别关注于如何有效地整合连续到来的数据流，并对新类别或任务进行适应，而无需从头开始重新训练模型。

        简单来说，就是一般的机器学习方法在训练完一个模型之后，如果数据集有新增加的类别，这个时候需要把新增加类别与之前的所有图像放在一起重新训练一个模型，这样的话，拿全部的样本进行训练，会占用很多的训练时间。所以增量学习希望直接在新的样本（或者在新的样本和少数的旧的样本）上进行训练，一方面能够有效的识别新的类别，另外一方面能够保持在旧的类别上的性能。