CVPR 2023 中的领域适应: 通过自蒸馏正则化实现内存高效的 CoTTA

CVPR 2023 中的领域适应: 通过自蒸馏正则化实现内存高效的 CoTTA

目录

• 前言

• 内存比较

• EcoTTA 实现

  • Memory-efficient Architecture
  • Self-distilled Regularization

• 实验

  • 分类实验
  • 分割实验

• 总结

• 参考

前言

在上一篇文章中，我们介绍了 CoTTA 方法，这次介绍的是基于它的优化工作：EcoTTA，被接受在 CVPR 2023 上。上一篇文章我们提到 CoTTA 的输入是随时间轴变化的数据（比如自动驾驶中不断切换的天气条件），且是测试伴随训练任务。所以，CoTTA 通常在内存有限的边缘设备上进行，因此减少内存消耗至关重要。先前的 TTA 研究忽略了减少内存消耗的重要性。此外，上一篇文章也提到了长期适应通常会导致灾难性的遗忘和错误积累，从而阻碍在现实世界部署中应用 TTA