practical_sharp的博客

图中DSB是特征下采样模块野外环境下的人脸识别正朝着轻量化模型、快速推理速度以及分辨率自适应能力的方向发展。在本文中，我们提出了一种桥梁蒸馏方法，将在私有高分辨率人脸数据集上预训练的复杂人脸识别模型，转化为适用于低分辨率人脸识别的轻量化模型。在我们的方法中，这种跨数据集且分辨率自适应的知识迁移问题，通过两步蒸馏法得以解决。第一步，我们进行跨数据集蒸馏，将先验知识从私有高分辨率人脸数据集迁移到公开高分辨率人脸数据集，生成紧凑且具有判别性的特征。

由于类别的概率预测所蕴含的知识量比较少，所以作者使用对比知识蒸馏，对分类logits之前的特征Hs，Ht进行对比蒸馏，回归蒸馏Lbox还是采取L1损失事件相机因其独特的性能，如低延迟和高动态范围，正日益受到欢迎。在实时物体检测这一任务中，这些优势可能至关重要。然而，由于事件数据的稀疏性以及视觉细节的缺失，RGB 探测器的性能仍然优于基于事件的探测器。在本文中，我们提出了一种跨模态特征蒸馏方法，该方法能够聚焦于知识蒸馏效果最佳的区域，以缩小这两种模态之间在检测性能上的差距。我们通过使用一种。

开放词汇目标检测旨在使在固定对象类别集上训练的目标检测器具备检测由任意文本查询描述的对象的泛化能力。先前的方法采用知识蒸馏从预训练的视觉语言模型（PVLM）中提取知识并将其转移到检测器中。然而，由于非自适应的提议裁剪和单层级特征模仿过程，它们在知识提取过程中存在信息破坏问题，并且知识转移效率低下。为了弥补这些局限性，我们提出了一个对象感知蒸馏金字塔（Object-Aware Distillation Pyramid，OADP）框架，包括一个。

pc是每个像素点的预测分类概率值最大的概率pr是每个像素点预测的bounding box与GT bounding box的最大IoU得分。然后作者定义了HS得分，用于平衡两个子任务的预测得分：并在此基础上，定义了基于Harmonious的Distillation loss：此外，作者更进一步引入了一种动态变化因子dynamic modulation factor，用于为每个空间像素点施加不同的损失权重作者发现直接模仿教师模型的预测会面临目标冲突问题，这阻碍了预测模仿取得良好的性能。

使用feature propagation layer [29]将voxel特征转换为point feature。

目标检测（Object Detection，OD）是计算机视觉中的一项关键任务，多年来涌现出了众多算法和模型。尽管当前 OD 模型的性能有所提升，但它们也变得更加复杂，由于参数规模庞大，在工业应用中并不实用。为解决这一问题，2015 年知识蒸馏（Knowledge Distillation，KD）技术被提出用于图像分类，随后因其能够将复杂教师模型所学知识转移到轻量级学生模型中，而被扩展到其他视觉任务。**本文对近年来基于 KD 的 OD 模型进行了全面综述，旨在为研究人员提供该领域近期进展的概述。

经典的蒸馏方法通过匹配输出激活值，将表征从 “教师” 神经网络转移到 “学生” 网络。近期的方法还会匹配它们的Jacobian矩阵，或者输出激活值相对于输入的梯度。见之前的博文典型常见的知识蒸馏方法总结一。

第二部分旨在从教师网络中捕捉长距离依赖关系，由于小型模型的感受野有限且抽象能力不足，这种长距离依赖关系对它们来说是很难学习到的。

知识蒸馏开山之作，从logits中蒸馏知识，KL散度损失A hint is defined as the output of a teacher’s hidden layer responsible for guiding the student’s learning process,we choose a hidden layer of the student, the guided layer, to learn from the teacher’s hint layerSimilarly, we ch

在常见的单一教师（S-T）知识蒸馏（KD）范式下，已经取得了令人瞩目的进展，即知识从一个高容量的教师网络转移到一个学生网络。然而在这种设定下，知识容量相当有限 [48]，并且在某些特殊情况（如跨模型知识蒸馏 [82]）下，知识多样性也很匮乏。为此，一些研究工作探索了从多个教师或教师集合中学习一个可迁移的学生模型。这背后的直觉可以用人的学习认知过程来类比解释。在实际情况中，学生并非仅仅从单个教师那里学习，而是在同一任务上接受多个教师的有益指导，或者在不同任务上接受不同教师的指导时，能更好地学习某个知识概念。

T为温度，T越大，概率分布更加平缓。

知识蒸馏中的知识有多种类别，一种最基本的知识就是使用教师模型的预测logits；此外，教师模型中间层的特征，也可以视为表征知识来引导学生网络学习。教师网络中不同神经元，不同特征层富含的关系信息，以及教师模型的参数也包含的一定的知识。综述将知识分为三种类别：response-based knowledge，feature-based knowledge，relation-based knowledge。

知识蒸馏：教师学生模型，通过软目标实现从教师到学生模型的知识传递单独训练教师模型教师模型采用三个全连接层，隐藏层的神经元为1200–>2400–>1200，为防止过拟合，加入Dropout模型训练采用交叉熵损失，Adam优化器，学习率为1e-4，训练批次epoch=10，batch-size=64import torchfrom torch import nnfrom tqdm import tqdmimport torchvisionfrom torchvision impo

最原始的知识蒸馏 vanilla knowledge distillation 仅仅从教师模型输出的软目标中学习除轻量级的学生模型。然而，当教师模型变得更深时，仅仅学习软目标是不够的. 因此，我们不仅需要获取教师模型输出的知识，还需要学习隐含在教师模型中的其它知识，比如中间特征知识. 本节总结了可以使用的知识形式有输出特征知识、中间特征知识、关系特征知识和结构特征知识.