berling00-CSDN博客

原创【论文阅读 | PR 2024 |ICAFusion：迭代交叉注意力引导的多光谱目标检测特征融合】

多光谱图像的有效特征融合在多光谱目标检测中起着至关重要的作用。以往研究表明，使用卷积神经网络进行特征融合是有效的，但由于其在局部范围特征交互方面的固有缺陷，这些方法对图像错位敏感，导致性能下降。为解决这一问题，本文提出了一种新型的双交叉注意力 Transformer 特征融合框架，用于建模全局特征交互并同时捕获跨模态的互补信息。该框架通过查询引导的交叉注意力机制增强目标特征的判别力，从而提升性能。然而，堆叠多个 Transformer 块进行特征增强会导致大量参数和高空间复杂度。

2025-06-01 16:03:59 670 1

原创【论文阅读 | CVPR 2024 |RSDet:去除再选择：一种用于 RGB - 红外目标检测的由粗到精融合视角】

近年来，利用可见光（RGB）和热红外（IR）图像的目标检测技术已受到广泛关注，并在众多领域得到广泛应用。通过利用 RGB 和 IR 图像之间的互补特性，目标检测任务能够在从白天到夜间的各种光照条件下实现可靠且鲁棒的目标定位。大多数现有的多模态目标检测方法直接将 RGB 和 IR 图像输入深度神经网络，导致检测性能较差。我们认为，这一问题不仅源于有效融合多模态信息的挑战，还源于 RGB 和 IR 模态中均存在冗余特征。每种模态的冗余信息会在传播过程中加剧融合不精确的问题。

2025-05-21 23:12:13 1527 1

原创【论文阅读 | AAAI 2025 | FD2-Net：用于红外 - 可见光目标检测的频率驱动特征分解网络】

红外 - 可见光目标检测（IVOD）旨在利用红外和可见光图像中的互补信息，从而提升复杂环境下检测器的性能。然而，现有方法往往忽略互补信息的频率特性，例如可见光图像中丰富的高频细节和红外图像中有价值的低频热信息，这制约了检测性能。为解决这一问题，提出了一种新的用于 IVOD 的频率驱动特征分解网络 FD2-Net，该网络能有效捕捉跨多模态视觉空间的互补信息所具有的独特频率表示。

2025-05-18 17:32:43 1591 1

原创【论文阅读 | PR 2025 | D3Fuse:基于三维特征的红外与可见光图像融合策略】

现有融合方法因缺乏对场景本质特征的关注，存在场景失真问题，且由于缺乏真实标签，关键信息表征不充分。为此，提出了一种基于三维特征融合策略的新型红外与可见光图像融合网络（D3Fuse）。该方法考虑源图像中的场景语义信息，将两幅图像的共同内容作为第三维特征提取，扩展了融合任务的特征空间。具体而言，设计了共同特征提取模块（CFEM）来提取场景共同特征，随后将场景共同特征与模态特征结合构建融合图像。

2025-05-15 23:16:35 1219 1

原创【论文阅读 | TCSVT 2025 | T2EA：用于红外与可见光图像融合的目标感知泰勒展开近似网络】

在图像融合任务中，关键是生成高质量图像，以突出关键目标，同时增强场景的可理解性。为了完成这一任务，并在生成适合视觉任务（如目标检测和分割）的融合结果时，提供强大的可解释性和泛化能力，我们提出了一种新颖的可解释分解方案，并开发了一种用于红外和可见光图像融合的目标感知泰勒展开近似T2EAT^{2}EAT2EA网络。T2EAT^{2}EAT2EA包括以下关键步骤：首先，通过设计的泰勒展开近似（TEA）网络，将可见光和红外图像都分解为特征图。

2025-05-11 13:26:38 1025 1

原创【论文阅读 | CVPR 2022 | 用于小目标检测的归一化高斯瓦瑟斯坦距离（Wasserstein Distance）】

检测小目标是一个极具挑战性的问题，因为小目标在尺寸上仅包含少数像素。我们证明，由于缺乏外观信息，当前最先进的检测器在小目标上无法产生令人满意的结果。我们的关键观察发现，基于交并比IoU）的度量标准，如IoU本身及其扩展，对小目标的位置偏差非常敏感，在基于锚框的检测器中使用时，会严重降低检测性能。为缓解这一问题，我们提出一种新的使用瓦瑟斯坦距离）的评估指标，用于小目标检测。具体而言，我们首先将边界框建模为二维高斯分布，然后提出一种名为归一化瓦瑟斯坦距离NWD。

2025-05-10 20:21:49 899 1

原创红外与可见光图片数据集整理（持续更新）

本文会将近年来最常用的一些红外与可见光图像的数据集进行整理。之后会整理为网盘链接供下载。

2025-04-08 23:53:06 2110

原创【论文阅读| TPAMI 2020 | U2Fusion：一种统一的无监督图像融合网络】

本研究提出了一种新颖的统一无监督端到端图像融合网络，称为U2Fusion，它能够解决不同的融合问题，包括多模态、多曝光和多聚焦情况。在信息保留方面，首先采用特征提取器从源图像中提取丰富全面的特征，然后度量特征中的信息丰富度，以定义这些特征的相对重要性，这反映了源图像与融合结果之间的相似关系。相似度越高，意味着该源图像在结果中保留的信息越多，信息保留程度也就越高。基于这些策略，训练一个 DenseNet 模块来生成融合结果，且无需真实标签。

2025-04-07 23:31:47 844 1

原创【论文阅读 | TIPAMI 2025 | 可见光 - 热红外微小目标检测（RGBT SOD）：一个基准数据集和基线方法】

*可见光 - 热红外小目标检测（RGBT SOD）**是一项意义重大但颇具挑战的任务，在视频监控、交通监测、搜索救援等领域有着广泛应用。小目标检测（通常指尺寸小于32×32像素的目标）因其固有的挑战性，在视频监控、自动驾驶和水上救援等领域具有重要应用价值，已成为目标检测领域一个独特且具有挑战性的研究方向。当前小目标检测面临三大核心挑战特征表示限制：小目标尺寸极小，外观特征有限，难以有效学习特征表示；同时复杂背景杂波易导致误检数据集匮乏。

2025-04-05 17:41:22 2023 1

原创【论文阅读| CVPR 2023 |MetaFusion：通过对象检测的元特征嵌入进行红外和可见光图像融合】

题目：MetaFusion: Infrared and Visible Image Fusion via Meta-Feature Embeddingfrom Object Detection会议：Computer Vision and Pattern Recognition（CVPR）论文：链接代码：https://github.com/wdzhao123/MetaFusion年份：2023融合红外图像和可见光图像能够为后续的目标检测任务提供更多的纹理细节。反过来，目标检测任务则提供目标的语义信息，以提

2025-03-29 21:50:03 2209 1

原创【论文阅读 | TPAMI 2024 | IVIF任务进展和应用概述：从数据兼容性到任务适配性】

在无监督红外和可见光图像融合领域，损失函数的设计和选择至关重要。这些函数通常可从像素级别、评估指标和数据特征三个主要维度进行理解和分类。（本节不讨论 GAN 和扩散模型等生成模型。）在像素级别，L1 和 MSE 损失函数通过直接比较像素来评估图像相似性。SSIM 作为关键的评估指标，通过考虑图像结构和质量扩展了这一概念，反映了人类视觉感知。针对数据特征的损失函数（如图像梯度）则侧重于在融合过程中保留详细纹理。在此基础上，出现了更复杂的损失函数变体来解决图像融合中的特定挑战。

2025-03-21 16:31:58 1144 1

原创【论文阅读 | CVPR2025 | GIFNet：适用于所有任务的模型：底层任务交互是实现任务无关图像融合的关键】

目前的图像融合方法大多优先考虑高级任务，然而，这种高级监督在一定程度上与底层图像融合问题脱节。相比之下，我们建议从数字摄影融合中利用底层视觉任务，通过像素级监督实现有效的特征交互。这种新范式为无监督多模态融合提供了有力指导，而无需依赖抽象语义，增强了任务共享特征学习，从而具有更广泛的适用性。由于混合图像特征和增强的通用表示，所提出的GIFNet 支持多种融合任务，在已见和未见场景中，单个模型都能实现高性能。总结：应更注重底层的融合任务来提供监督信号，专注于细节保留和像素级特征对齐。

2025-03-19 17:51:43 1209 2