改进YOLO系列 | CVPR2023最新注意力 | BiFormer：视觉变换器与双层路由注意力

迪菲赫尔曼

于 2023-04-24 21:36:06 发布

阅读量5.2k

点赞数 5

分类专栏： YOLOv5/v7进阶实战文章标签： YOLO 计算机视觉深度学习

原创文章为博主个人所有，未经授权不得转载、摘编、传播、倒卖、洗稿或利用其它方式使用上述作品。违反上述声明者，本站将追求其相关法律责任。

本文链接：https://blog.csdn.net/weixin_43694096/article/details/130352480

版权

YOLOv5/v7进阶实战专栏收录该内容

63 篇文章 ¥199.90 ¥299.90

订阅专栏

本文提出了一种名为BiFormer的新颖视觉变换器，它采用双层路由注意力机制，实现了动态的、内容感知的稀疏注意力。BiFormer在保持高性能的同时，有效地减少了计算和内存需求，特别适用于密集预测任务。该方法在图像分类、目标检测和语义分割等任务上表现出色。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

作为视觉变换器的核心构建模块，注意力是一种强大的工具，可以捕捉长程依赖关系。然而，这种强大的功能付出了代价：计算负担和内存占用巨大，因为需要在所有空间位置上计算成对的令牌交互。一系列的研究尝试通过引入手工制作和与内容无关的稀疏性来缓解这个问题，例如将注意力操作限制在本地窗口、轴向条纹或扩张窗口内。与这些方法不同，我们提出了一种新颖的基于双层路由的动态稀疏注意力，以实现更灵活的计算分配和内容感知。具体而言，对于一个查询，无关的键-值对首先在粗略的区域级别进行过滤，然后在剩余候选区域的并集中应用细粒度的令牌-令牌注意力（即路由区域）。我们提供了所提出的双层路由注意力的简单而有效的实现，它利用稀疏性来节省计算和内存，并且只涉及GPU友好的密集矩阵乘法。基于所提出的双层路由注意力，我们还提出了一种新的通用视觉变换器，称为BiFormer。作为一种对查询自适应的方式，BiFormer只关注一小部分相关的令牌，而不会受到其他无关令牌的干扰，从而在性能和计算效率方面都表现出色，尤其在密集预测任务中。在多个计算机视觉任务（如图像分类、目标检测和语义分割）上的实证结果验证了我们

了解本专栏