Snu77的博客

Hello，各位读者们好Hello，各位读者，距离第一天发RT-DETR的博客已经过去了接近两个月，这段时间里我深入的研究了一下RT-DETR在ultralytics仓库的使用，旨在为大家解决为什么用v8的仓库训练的时候模型不收敛，精度差的离谱的问题，我也是成功的找到了解决方案，对于ultralytics仓库进行多处改进从而让其还原RT-DETR官方的实验环境从而达到一比一的效果。同时本人一些讲解视频和包含我所有创新的RT-DETR文档。

本文是带大家进行调参，利用ultralytics仓库1：1复现RT-DETR官方实验环境，从而在后期发表论文 的时候省去一些不必要的麻烦，例如被审稿人提出质疑，本文的调参内容均有依据，根据RT-DETR官方Github上发布的版本进行设置本文的调参以ResNet18为例，其余的何其的调参基本一致。RT-DETR剑指论文专栏，持续复现各种顶会内容——论文收割机RT-DETR。

本文给大家带来是利用RT-DETR模训练自己的数据集，RT-DETR是一种新提出的目标检测模型，它利用的自注意力机制来处理图像数据。不同于YOLO通过连续的卷积层直接对图像区域进行分析，RT-DETR采用Transformer架构中的自注意力机制，这允许模型更有效地理解图像中不同部分之间的关系。这种方法使得RT-DETR在处理图像中的复杂场景和多对象环境时，能够展现出更高的准确性和效率。此外，RT-DETR在保持高精度的同时，也针对实时处理进行了优化，使其适合需要快速响应的应用场景。

本文给大家带来的最新改进机制是2024年的双时相特征聚合模块BFAM，其中双时相特征聚合模块（BFAM）基于空间-时间特征聚合多种感受野的特征，同时保留了细粒度信息和纹理信息，增强了变化检测的准确性，我将其用于二次创新yolov11中的C3k2模块，目的是为了提高了图像变化检测的准确性，解决噪声和信息丢失的问题，本文的内容为独家创新，下图为BFAM网络的结构图。欢迎大家订阅我的专栏一起学习RT-DETR，购买专栏读者联系读者入群获取进阶项目文件！

本文给大家带来的改进机制是2024最新的空间和通道协同注意力模块（Spatial and Channel Synergistic Attention）SCSA，其通过结合空间注意力（Spatial Attention）和通道注意力（Channel Attention），提出了一种新的协同注意力模块SCSA。

本文给大家带来的改进机制是一种新的卷积层，称为WTConv（小波卷积层），它利用小波变换（WT）来解决卷积神经网络（CNN）在实现大感受野时遇到的过度参数化问题。WTConv的主要目的是通过对输入数据的不同频率带进行处理，使CNN能够更有效地捕捉局部和全局特征，WTConv成功解决了CNN在感受野扩展中的参数膨胀问题，提供了一种更为高效、鲁棒且易于集成的卷积层解决方案，我将其用于二次创新RT-DETR中的RepC3机制可以减少参数量和计算量，达到一个可观的轻量化作用。

本文给大家带来的改进机制是最近新提出的高质量的目标检测边界框回归损失，其通过动态调整模型对不同质量预测框的关注，优化目标检测中的边界框回归精度。UIoU引入了Focal Box方法，通过缩放预测框与真实框分配权重，并采用了退火策略（引入动态参数epoch），逐渐将模型的注意力从低质量预测框转移到高质量预测框，平衡了训练速度与检测精度。

本文给大家带来的一个改进机制是最新由LSM-YOLO提出的轻量化自适应特征提取（Lightweight Adaptive Extraction, LAE）模块，其是LSM-YOLO模型中的关键模块，旨在进行多尺度特征提取，同时降低计算成本。LAE通过以下方式实现更有效的特征提取：多尺度特征提取、自适应特征提取。LAE模块可以在不增加额外参数的情况下提高了模型对ROI区域的检测性能。​官方论文地址点击此处即可跳转官方代码地址点击此处即可跳转。

本文给大家带来的改进机制是，其发布时间是2024.5月。MobileNetV4是一种高度优化的神经网络架构，专为移动设备设计。它最新的改动总结主要有两点，采用了通用反向瓶颈（UIB）和针对移动加速器优化的Mobile MQA注意力模块（一种全新的注意力机制）。这些创新有助于在不牺牲准确性的情况下，显著提高推理速度和计算效率。MobileNetV4是一种移动端的网络。推荐指数：⭐⭐⭐⭐涨点效果：⭐⭐⭐⭐RT-DETR剑指论文专栏，持续复现各种顶会内容——论文收割机RT-DETR目录一、本文介绍。

YoloV8官方推荐了一个数据集网站，就是Roboflow。Roboflow是一个数据集管理平台，提供了免费的数据集，同时也支持上传自己的数据集进行格式转换。使用Roboflow，开发者可以方便地获取所需格式的数据集，无需手动转换格式。此外，Roboflow还提供了多种数据预处理、数据增强等功能，可帮助开发者更好地优化训练数据

本文给大家带来的改进机制是利用2024/02/21号最新发布的YOLOv9其中提出的ADown模块来改进我们的Conv模块，其中YOLOv9针对于这个模块并没有介绍，只是在其项目文件中用到了，我将其整理出来用于我们的YOLOv8的项目，经过实验我发现该卷积模块（作为下采样模块）首先可以大幅度降低参数值，其次其精度上也有很高的提升，同时本文的内容目前网络上并无其它人总结（也是最新发布的，可以说BUff是集满了）大家可以尝试以下在自己数据集上的效果。

本文给大家带来的改进机制是利用2024/02/21号最新发布的YOLOv9其中提出的GELAN模块来改进RT-DETR的RepC3结构，GELAN融合了CSPNet和ELAN机制同时其中利用到了RepConv在获取更多有效特征的同时在推理时专用单分支结构从而不影响推理速度，同时本文的内容提供了两种版本一种是参数量更低涨点效果略微弱一些的版本（参数量V8n下降80w，计算量为6.1GFLOPs），另一种是参数量稍多一些但是效果要不参数量低的效果要好一些（均为我个人整理），提供两种版本是为了适配不同需求的读者，

本文给大家带来的改进是三重注意力机制。这个机制，它通过三个不同的视角来分析输入的数据，就好比三个人从不同的角度来观察同一幅画，然后共同决定哪些部分最值得注意。三重注意力机制的主要思想是在网络中引入了一种新的注意力模块，这个模块包含三个分支，分别关注图像的不同维度。比如说，一个分支可能专注于图像的宽度，另一个分支专注于高度，第三个分支则聚焦于图像的深度，即色彩和纹理等特征。这样一来，网络就能够更全面地理解图像内容，就像是得到了一副三维眼镜，能够看到图片的立体效果一样。

在这篇文章中，我们将讲解如何将LSKAttention大核注意力机制应用于RT-DETR，以实现显著的性能提升。首先，我们介绍LSKAttention机制的基本原理，它主要通过将深度卷积层的2D卷积核分解为水平和垂直1D卷积核，减少了计算复杂性和内存占用。接着，我们介绍将这一机制整合到YOLOv8的方法，以及它如何帮助提高处理大型数据集和复杂视觉任务的效率和准确性。本文改进是基于ResNet18、ResNet34、ResNet50、ResNet101，文章中均以提供，

本文给大家带来的改进内容是Deformable-LKA（可变形大核注意力）。Deformable-LKA结合了大卷积核的广阔感受野和可变形卷积的灵活性，有效地处理复杂的视觉信息。这一机制通过动态调整卷积核的形状和大小来适应不同的图像特征，提高了模型对目标形状和尺寸的适应性。在YOLOv8中，Deformable-LKA可以被用于提升对小目标和不规则形状目标的检测能力，特别是在复杂背景或不同光照条件下。本文改进是基于ResNet18、ResNet34、ResNet50、ResNet101，文章中均以提供，本专

BiFormer是一种结合了的视觉Transformer模型，BiFormer模型的核心思想是引入了双层路由注意力机制。在BiFormer中，每个图像块都与一个位置路由器相关联。这些位置路由器根据特定的规则将图像块分配给上层和下层路由器。上层路由器负责捕捉全局上下文信息，而下层路由器则负责捕捉局部区域的细节。具体来说，上层路由器通过全局自注意力机制对所有图像块进行交互，并生成全局图像表示。下层路由器则使用局部自注意力机制对每个图像块与其邻近的图像块进行交互，并生成局部图像表示。

本文给大家带来的改进机制是MSDA（多尺度空洞注意力）发表于今年的中科院一区(算是国内计算机领域的最高期刊了)，其全称是"DilateFormer: Multi-Scale Dilated Transformer for Visual Recognition"。MSDA的主要思想是通过线性投影得到特征图X的相应查询、键和值。然后，将特征图的通道分成n个不同的头部，并在不同的头部中以不同的扩张率执行多尺度SWDA来提高模型的处理效率和检测精度。

本文给大家带来的改进机制是EMAttention注意力机制，它的核心思想是，重塑部分通道到批次维度，并将通道维度分组为多个子特征，以保留每个通道的信息并减少计算开销。EMA模块通过编码全局信息来重新校准每个并行分支中的通道权重，并通过跨维度交互来捕获像素级别的关系。本文改进是基于ResNet18、ResNet34、ResNet50、ResNet101，文章中均以提供，本专栏的改进内容全网独一份深度改进RT-DETR非那种无效Neck部分改进，

本文给大家带来的改进机制是利用FasterNet的FasterBlock改进特征提取网络，将其用来改进ResNet网络，其旨在提高计算速度而不牺牲准确性，特别是在视觉任务中。它通过一种称为部分卷积（PConv）的新技术来减少冗余计算和内存访问。这种方法使得FasterNet在多种设备上运行速度比其他网络快得多，同时在各种视觉任务中保持高准确率。本文改进是基于ResNet18、ResNet34、ResNet50、ResNet101，文章中均以提供，

Hello，各位读者，最近会给大家发一些进阶实战的讲解，如何利用RT-DETR现有的一些功能进行一些实战， 让我们不仅会改进RT-DETR，也能够利用RT-DETR去做一些简单的小工作，后面我也会将这些功能利用PyQt或者是pyside2做一些小的界面给大家使用。在开始之前给大家推荐一下我的专栏，本专栏每周更新3-10篇最新前沿机制 | 包括二次创新全网无重复，以及融合改进(大家拿到之后添加另外一个改进机制在你的数据集上实现涨点即可撰写论文)，还有各种前沿顶会改进机制 |，更有包含我所有附赠的文件。

本文给大家带来的改进机制是更加聚焦的边界框损失已经我进行二次创新的InnerFocalerIoU同时本文的内容支持现阶段的百分之九十以上的IoU，比如Focaler-IoU、Focaler-ShapeIoU、Inner-Focaler-ShapeIoU包含非常全的损失函数，边界框的损失函数只看这一篇就够了。

Hello，各位读者，最近会给大家发一些进阶实战的讲解，如何利用RT-DETR现有的一些功能进行一些实战， 让我们不仅会改进RT-DETR，也能够利用RT-DETR去做一些简单的小工作，后面我也会将这些功能利用PyQt或者是pyside2做一些小的界面给大家使用。

本文给大家带来的是改进机制是一种替换多元分支模块（Diverse Branch Block），Diverse Branch Block (DBB) 是一种用于增强卷积神经网络性能的结构重新参数化技术。这种技术的核心在于结合多样化的分支，这些分支具有不同的尺度和复杂度，从而丰富特征空间。本文改进是基于ResNet18、ResNet34、ResNet50、ResNet101，文章中均以提供，本专栏的改进内容全网独一份深度改进RT-DETR非那种无效Neck部分改进，

本文给大家带来的改进机制是利用我们训练好的权重文件计算FPS，同时打印每张图片所利用的平均时间，模型大小（以MB为单位），同时支持batch_size功能的选择，对于轻量化模型的读者来说，本文的内容对你一定有帮助，可以清晰帮你展示出模型速度性能的提升以及轻量化的效果（模型大小），对于以提高精度为目的的读者本文也能够帮助大家展示出现阶段的模型速度指标。所以本文的内容是十分有用的机制，对于大家发表论文来说，下面的图片为运行后的效果可以看到，该有的指标均已打印（本文内容为我独家创新，全网无第二份）下面是效果图和文

本文给大家带来的是改进机制是一种替换Conv的模块，其是在CGNet论文中提出的一种模块，其基本原理是模拟人类视觉系统依赖上下文信息来理解场景。CG block 用于捕获局部特征、周围上下文和全局上下文，并将这些信息融合起来以提高准确性。本文改进是基于ResNet18、ResNet34、ResNet50、ResNet101，文章中均以提供，本专栏的改进内容全网独一份深度改进RT-DETR非那种无效Neck部分改进，同时本文的改进也支持主干上的即插即用，本文内容也支持PP-HGNetV2版本的修改。

本文给大家带来的机制是的是RT-DETR可视化热力图功能，热力图作为我们论文当中的必备一环，可以展示出我们呈现机制的有效性，同时支持视频讲解，本文的内容是根据检测头的输出内容，然后来绘图。在开始之前给大家推荐一下我的专栏，本专栏每周更新3-10篇最新前沿机制 | 包括二次创新全网无重复，以及融合改进(大家拿到之后添加另外一个改进机制在你的数据集上实现涨点即可撰写论文)，还有各种前沿顶会改进机制 ，更有包含我所有附赠的文件（文件内集成我所有的改进机制全部注册完毕可以直接运行）和交流群和视频讲解提供给大家。

本文给大家带来的改进机制是SENetV2其是2023.11月的最新机制(所以大家想要发论文的可以在上面下点功夫)其是一种通过调整卷积网络中的通道关系来提升性能的网络结构。SENet并不是一个独立的网络模型，而是一个可以和现有的任何一个模型相结合的模块(可以看作是一种通道型的注意力机制但是相对于SENetV1来说V2又在全局的角度进行了考虑)。在SENet中，所谓的挤压和激励（Squeeze-and-Excitation）操作是作为一个单元添加到传统的卷积网络结构中，如残差单元中。

本文给大家带来的改进机制是SENet（Squeeze-and-Excitation Networks）其是一种通过调整卷积网络中的通道关系来提升性能的网络结构。SENet并不是一个独立的网络模型，而是一个可以和现有的任何一个模型相结合的模块(可以看作是一种通道型的注意力机制)。在SENet中，所谓的挤压和激励（Squeeze-and-Excitation）操作是作为一个单元添加到传统的卷积网络结构中。这样可以增强模型对通道间关系的捕获，提升整体的特征表达能力，而不需要从头开始设计一个全新的网络架构。因此，

本问给大家带来的改进机制是UNetv2提出的一种多层次特征融合模块（SDI）其是一种用于替换Concat操作的模块，SDI模块的主要思想是通过整合编码器生成的层级特征图来增强图像中的语义信息和细节信息。包括皮肤病变分割和息肉分割，展示了其在这些分割任务中相比于现有方法的效果。所以其的一开始提出使用于分割，但是其也可以用于目标检测，亲测效果非常好，同时该结构主要是可以用于替换我们各种Neck中的结构形成二次创新比如之前的BiFPN，我们可以用其替换其在的Fusion操作从而形成二次创新。

本文给大家带来的改进机制是利用YOLO-MS提出的一种针对于实时目标检测的MSBlock模块(其其实不能算是Conv但是其应该是一整个模块)，我们将其用于替换我们ResNet中Basic组合出一种新的结构，来替换我们网络中的模块可以达到一种轻量化的作用，我将其用于我的数据集上实验，其在轻量网络结构的同时，却能够提高一定的mAP精度，所以这是一种十分高效的模块，该网络结构非常适合那些模型精度已经无法提到，想要从轻量化模型的角度入手的读者使用，

本文给大家带来的改进机制是一种号称超轻量级且有效的动态上采样器——DySample。与传统的基于内核的动态上采样器相比，DySample采用了一种基于点采样的方法，相比于以前的基于内核的动态上采样器，DySample具有更少的参数、浮点运算次数、GPU内存和延迟。此外，DySample在包括语义分割、目标检测、实例分割、全景分割和单目深度估计在内的五个预测任务中，性能均优于其他上采样器（截至目前最有效的上采样算子）

本文给大家带来的改进机制是Damo-YOLO的RepGFPN重参数化泛化特征金字塔网络，利用其优化RT-DETR的Neck部分，可以在不影响计算量的同时大幅度涨点（亲测在小目标和大目标检测的数据集上效果均表现良好涨点幅度超级高！RepGFPN不同于以往提出的改进模块，其更像是一种结构一种思想(一种处理事情的方法)，RepGFPN相对于BiFPN和之前的FPN均有一定程度上的优化效果。适用检测目标：所有的目标检测均有一定的提点推荐指数⭐⭐⭐⭐⭐。

本文给大家带来的改进机制是ASF-YOLO（发布于2023.12月份的最新机制），其是特别设计用于细胞实例分割。这个模型通过结合空间和尺度特征，提高了在处理细胞图像时的准确性和速度。在实验中，ASF-YOLO在2018年数据科学竞赛数据集上取得了卓越的分割准确性和速度，达到了0.91的box mAP（平均精度），0.887的mask mAP，以及47.3FPS的推理速度，效果非常的好，这个结构本来是用于分割的，我将其移植到了目标检测的模型上，所以其可以适用于分割和目标检测。

本文给大家带来的CARAFE（Content-Aware ReAssembly of FEatures）是一种用于增强卷积神经网络特征图的上采样方法。其主要旨在改进传统的上采样方法就是我们的Upsample的性能。使用输入特征本身的内容来指导上采样过程，从而实现更精准和高效的特征重建。CARAFE是一种即插即用的上采样机制其本身并没有任何的使用限制，特别是在需要精细上采样的场景中，如图像超分辨率、语义分割等。这种方法改善了上采样过程中的细节保留和重建质量，使网络能够生成更清晰、更准确的输出。

本文给大家带来的改进机制是BiFPN双向特征金字塔网络，其是一种特征融合层的结构，也就是我们本文改进YOLOv8模型中的Neck部分，它的主要思想是通过多层级的特征金字塔和双向信息传递来提高精度。本文给大家带来的结构可以让大家自行调节网络结构大小，同时能够达到一定的轻量化效果(需要注意的是BiFPN正常是需要五个检测头的，但是YOLOv8只有三个检测头，所以我对其yaml文件进行了一定设计，从而支持三个头的检测，后面我也会出四个头的BiFPN，然后配合我前面的AFPN_Detect检测头来融合)。

本文给大家带来的改进机制是最近这几天最新发布的改进机制MFDS-DETR提出的一种HS-FPN结构，其是一种为白细胞检测设计的网络结构，主要用于解决白细胞数据集中的多尺度挑战。特征选择模块和特征融合模块在本文的下面均会有讲解，这个结构是非常新颖的，代码仅仅更新了三天。其可以起到特征选择的作用，非常适合轻量化的读者来使用，其存在二次创新和多次创新的机会，在近期内我会对其进行更加轻量化和精度更高的二次创新，利用该结构参数量下降至197W，计算量降低至7.0GFLOPs。

本文给大家带来的改进机制是Slim-neck提出的Neck部分，Slim-neck是一种设计用于优化卷积神经网络中neck部分的结构。在RT-DETR中，neck是连接主干网络（backbone）和头部网络（head）的部分，负责特征融合和处理，以便提高检测的准确性和效率。亲测在小目标检测和大尺度目标检测的数据集上都有大幅度的涨点效果(mAP直接涨了大概有0.4左右。

本文是本专栏的第一篇改进，我将RT-DETR官方版本中的ResNet18、ResNet34、ResNet50、ResNet101移植到ultralytics仓库，网上很多改进机制是将基础版本的也就是2015年发布的ResNet移植到ultralytics仓库中，但是其实RT-DETR实验的ResNet和其是有很大区别的在其中有很多细节上的不同（文章中我也会列出举例）

本文给大家带来的改进机制是反向残差块网络EMO，其的构成块iRMB在之前我已经发过了，同时进行了二次创新，本文的网络就是由iRMB组成的网络EMO，所以我们二次创新之后的iEMA也可以用于这个网络中，再次形成二次创新，同时本文的主干网络为一种轻量级的CNN架构。RT-DETR剑指论文专栏，持续复现各种顶会内容——论文收割机RT-DETR。

本文给大家带来的改进机制是特征提取网络EfficientFormerV2，其是一种针对移动设备优化的视觉变换器（Vision Transformer），它通过重新考虑ViTs的设计选择，实现了低延迟和高参数效率，RT-DETR剑指论文专栏，持续复现各种顶会内容——论文收割机RT-DETR从今天开始正式开始更新RT-DETR剑指论文专栏，本专栏的内容会迅速铺开，在短期呢大量更新，价格也会乘阶梯性上涨，所以想要和我一起学习RT-DETR改进，可以在前期直接关注，