离职一个月咯

CNN在图像处理中有着良好的表现，能够处理复杂的图像特征，其在处理局部特征方面表现出色，但是在处理全局信息时表现较弱。而Transformer在NLP领域中具有很好的表现，能够处理序列数据的建模和生成，其在处理全局信息方面具有优势，但是对于局部信息处理能力相对较弱。通过将CNN与Transformer进行结合，可以有效地捕捉与处理图像中的局部和全局信息，从而提高模型的性能和效果。

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”因公众号更改了推送规则，记得读完点“在看”~下次AI公园的新文章就能及时出现在您的订阅列表中作者：Jacob Briones编译：...

【详细解读DETR，基于transformer的目标检测网络】DETR： End-to-End Object Detection with Transformers

Transformer self-attention attention中q,k,v的含义 就拿翻译举例子，q,k,v都是一个个的单词。（这里边需要对每个单词进行embedding）。每个单词都需要考虑其他的单词，q,k就是计算两个单词的相似性的。 q是query的简写，k是key的简写，v是value的简写。 q就是一个向量的搜索，k就是被搜索的向量。特征图中有哪些k向量与q的相似性是高的，q、v进行点积得到α（attention score）。v就是得到的分数会偏向于分数大的那个向量。 v就是对att

亮点：位置编码，encoder中加了，decoder中也加了；没用NMS，用的匈牙利匹配；两个注意力自注意力+交叉注意，交叉注意在decoder，object queries做的是qurey；object queries是固定100个；（在某些位置上查询有无物体以及类别）

摘要我们提出了一种新型的混合Mamba-Transformer主干网络，命名为MambaVision，它专门为视觉应用而设计。我们的核心贡献包括重新设计Mamba公式，以提高其有效建模视觉特征的能力。此外，我们对集成视觉变换器（ViT）与Mamba的可行性进行了全面的消融研究。我们的结果表明，在Mamba架构的最后一层加入多个自注意力模块大大提高了捕获长程空间依赖性的建模能力。基于我们的发现，我们引入了一系列具有分层架构的MambaVision模型，以满足各种设计标准。

目标检测技术旨在从图像或视频中识别和定位多个目标对象。

卷积神经网络（CNN）是一种特殊的深度学习模型，它在图像处理领域取得了巨大的成功，并且在其他领域如自然语言处理、推荐系统和语音识别中也得到了广泛的应用。CNN的设计受到了人类视觉系统的启发，特别关注于如何从图像中自动学习和提取有用的特征。：激活函数在神经网络中起到至关重要的作用，它们增加了模型的非线性，从而使模型能够学习和逼近复杂的函数。：池化层通常用于降低特征映射的维度，减少计算需求，并增加模型的鲁棒性。：在全连接层中，模型会将前面层学习到的空间特征转换为用于分类或回归任务的输出。

DETR给我们带来了一种全新的方法来用变换器做目标检测。这个端到端的模型能够一次性完成目标检测和分类，这和以前的多阶段模型，比如RCNN和Faster R-CNN，是不一样的。DETR的直接集合预测方法允许并行处理，这样也简化了整个架构。虽然DETR有不少优点，但它在计算资源消耗和推理速度上还是面临一些挑战。目前，研究人员正在努力解决这些问题，希望能进一步提升DETR的性能。另外，变换器的使用为涉及自然语言处理（NLP）和计算机视觉的双模态任务提供了一个统一的解决方案。

可以看到，代码上的修改并不大，相对于Conditional DETR主要是Cross Attention的过程中加入了长宽对Position Similarity的影响，并在Cross Attention的输出中对Anchor Box的四个参数进行显示的修正。DAB DETR是在Conditional DETR的基础上进行改进的，因此上文在Conditional DETR中介绍的Content Query和Spatial Query在DAB DETR中也是适用的，我们对其中不同的通路打上不同的颜色，其中。

DETR是DEtection TRansformer的缩写，该方法发表于2020年ECCV，原论文名为《End-to-End Object Detection with Transformers》。传统的目标检测是基于Proposal、Anchor或者None Anchor的方法，并且至少需要非极大值抑制来对网络输出的结果进行后处理，涉及到复杂的调参过程。而DETR使用了Transformer Encoder-Decoder的结构，并且通过集合预测损失实现了真正意义上的端到端的目标检测方法。...

现存的用检测跟踪的方法采用简单的heuristics，如空间或外观相似性。这些方法，尽管其共性，但过于简单，不足以建模复杂的变化，如通过遮挡跟踪。01摘要多目标跟踪(MOT)任务的关键挑战是跟踪目标下的时间建模。现存的用检测跟踪的方法采用简单的heuristics，如空间或外观相似性。这些方法，尽管其共性，但过于简单，不足以建模复杂的变化，如通过遮挡跟踪。所以现有的方法缺乏从数据中学习时间变化的能力。在今天分享中，研究者提出了第一个完全端到端多目标跟踪框架MOTR。它学习了模拟目标的长距离时间变化。它隐式地

介绍了基于 CNN 的目标检测器，如 YOLO、SSD、RetinaNet 等，以及 Transformer 模型的基本架构，包括编码器和解码器。详细阐述了 DETR 和 ViT - FRCNN 这两个开创性的基于 Transformer 的目标检测器，它们在小目标检测和分类中表现欠佳，且存在计算成本高等问题。使用Transformer 的小目标检测和流行的目标检测方法。

视觉感知算法的核心在于精准实时地感知周围环境，以便下游更好地进行决策规划，而目标检测任务就是视觉感知的基础。不仅在自动驾驶领域，在机器人导航、工业检测、视频监控等领域，目标检测都有着广泛应用，也是近年来理论研究的热点。作为计算机视觉中的基础算法，目标检测对后续的人脸识别、目标跟踪、实例分割等任务都起着至关重要的作用。基于深度学习的卷积学习网络（CNN）在目标检测任务上取得了优越的性能，例如Fast...

基于视觉Transformer的目标检测 无卷积骨干网络：金字塔Transformer，提升目标检测/分割等任务精度 https://github.com/whai362/PVT YOLOS： Transformer能否以最少的2D空间结构从纯粹的序列到序列的角度进行2D目标识别呢？ 为回答该问题，我们提出了YOLOS(You Only Look at One Sequence)，一系列基于朴素ViT(即尽可能少的进行修改)的目标检测模型。我们发现：在中等大小数据集ImageNet上预

本周阅读的论文题目是《End-to-End Object Detection with Transformers》(使用Transformer进行端到端目标检测)。