Learning Progressive Modality-Shared Transformers for Effective Visible-Infrared Person Re-identific

Learning Progressive Modality-Shared Transformers for Effective Visible-Infrared Person Re-identification
学习渐进式模态共享transformers用于有效的可见-红外人员再识别
会议：AAAI CCF-A
代码：https://github.com/hulu88/PMT

摘要：为了减少模态间隙的负面影响，我们首先将灰度图像作为辅助模态(去除可见图像的颜色信息)，并提出一种渐进式学习策略。然后，我们提出了模态共享增强损失(MSEL)来指导模型从模态共享特征中探索更可靠的身份信息。最后，针对类内差异大、类间差异小的问题，我们提出了一种结合MSEL的判别中心损失算法(Discriminative Center Loss, DCL)，进一步提高了可靠特征的判别能力。

网络结构：

渐进式学习策略:1)第一阶段a->b，我们将灰度图像和红外图像输入到由L_ID和L_PHT监督的权重共享Transformer中，进行模态无关的特征提取。2)在第二阶段c，我们利用视觉图像和红外图像来改进与L_MSEL和L_DCL的模态共享特征。

Progressive Learning Strategy

可见图像:$x^{vis}$，对应灰度图像:$x^{gray}$ 红外图像:$x^{}$