在线困难样本挖掘(Online Hard Example Mining, OHEM)是一种用于提高深度学习模型鲁棒性和性能的技术,特别是在目标检测、语义分割等任务中。其核心思想是在每个训练步骤中,选择最难分类的样本来进行梯度更新,从而迫使模型更好地学习这些困难样本,提高整体性能。
OHEM的思路原理
- 问题背景:
- 在深度学习训练中,数据集中的某些样本可能比其他样本更难分类。
- 这些困难样本往往对模型的性能提升至关重要,但传统的训练方法可能会忽略它们。
- 基本思路:
- 在每个训练批次中,首先计算所有样本的损失值。
- 根据损失值的大小,选择损失最大的部分样本(即困难样本)来进行梯度更新。
- 通过专注于这些困难样本,模型可以更好地学习到区分难分样本的特征。
具体步骤
- 计算损失:
- 对于当前批次的所有样本,计算每个样本的损失值(例如,交叉熵损失)。
- 筛选困难样本:
- 根据损失值的大小&#