- 博客(27)
- 收藏
- 关注
RSS订阅原创 多模态信息交互分割 MULTIMODAL INFORMATION INTERACTION FOR MEDICAL IMAGE SEGMENTATION.
此外，我们在数据集上使用 nnFormer 进行涉及单模态和多模态场景的实验提供了进一步的证据，表明将 MRI 数据纳入 CT 分割过程显着提高了 CT 分割的准确性。这是通过计算F特征区域内的特征与F特征库内的特征之间的相关性来实现的。随后，我们将Softmax计算应用于相关性图，表示为Attn，它为在F特征库中可能难以捕获但在F特征区域中更容易识别的特征分配更高的权重。肺动脉、心肌和主动脉。当前的大多数方法侧重于多模态特征的集成，而忽略了不同模态特征之间的相关性和一致性，导致包含了潜在的无关信息。
2025-04-23 15:24:40
891
原创 (ICCV) 2023 矩形窗口交叉注意力变换器和任意尺度上采样
代码：https: //github.com/GuangYuanKK/McASSR摘要---最近，几种方法探索了多对比度磁共振成像（MRI）超分辨率（SR）的潜力，并获得了优于单对比度SR方法的结果。然而，现有的方法仍然有两个缺点：（1）它们只能解决固定的整数上采样尺度，如2×、3×和4×，这需要在临床上为每个上采样尺度分别训练和存储相应的模型。（2） 由于它们采用方形窗口（例如8×8）变压器网络架构，因此不同窗口之间缺乏直接交互，这导致对长期依赖关系的建模不足。此外，
2025-04-23 11:23:56
652
原创 TMI 2025 | 通过细粒度差分学习桥接MRI跨模态合成和多对比度超分辨率
数据处理与任务统一：对高分辨率参考图像和未对齐低分辨率目标图像进行处理，通过标签校正模块将两者坐标对齐，统一描述 CMS 和 MCSR 任务，利用结构差异图衡量任务中的挑战区域。网络架构构建：建立基础网络估计结构差异图，在此基础上发展 SR 分支。SR 分支利用可变形卷积处理目标图像与参考图像的空间不对齐问题，通过正则化跨模态特征相关性表征结构差异，并采用增量调制方案引导独特结构的生成。差异投影判别器。
2025-04-23 10:59:39
681
原创 TGRS 2024 | 基于光谱相关的高光谱图像超分辨率融合网络
通过方程（3）中的退化函数SRF对目标图像的光谱域进行降采样，以获得重建的HR MSI。表四显示了消融实验的详细结果。在 Indian Pines、Salinas、Pavia University 等数据集上，SCFN 的 PSNR、SSIM、SAM 等指标均优于现有方法（如 SFIM、CNMF、uSDN），尤其在光谱保真度（SAM 值降低 30%-50%）和空间细节（SSIM 接近 0.99）上表现突出，证明了 DSCM 和 GAB 模块的有效性（见表 I-III 及 ablation 实验）。
2025-04-11 21:33:07
1077
原创 CVPR 2024 | S2MAE：光谱遥感数据的空间光谱预训练基础模型
在计算机视觉的广阔领域中，我们可以使用无数预先训练的模型。然而，这些模型大多数是针对自然 RGB 图像而设计的，并被证明不足以用于光谱遥感 (RS) 图像。光谱遥感图像具有两个主要特征：(1) 多波段捕获不同的特征信息，(2) 空间光谱维度内的空间对齐和一致的光谱排序。在本文中，我们介绍了 Spatial-SpectralMAE (S2MAE)，这是一种专门用于光谱 RS 图像的预训练架构。S2MAE 采用 3D 转换器进行掩蔽自动编码器建模，将可学习的频谱空间嵌入与 90% 掩蔽率集成在一起。
2025-04-09 11:20:09
715
原创 Signal Proc 2024 | 中间输出深度图像先验（MODIP）的方法用于无监督盲 HS 和 MS 图像融合
所提出模型的两个基本和令人兴奋的超参数是τ1和τ2，它们由表示退化算子知识水平的指示变量组成，即如果τ1=0，损失函数将丢弃包含描述HS图像Dh的退化算子的项。然后，应用仿射组合来获得融合的光谱图像。更确切地说，为了获得所需图像的估计，DIP方法拟合了卷积生成器网络的参数，最小化了考虑图像观察模型和可用退化图像的损失函数。，这就导致在现实应用场景中，DIP 方法的适用性和效果会大打折扣，因此需要一种既能利用 DIP 模型的出色性能，又能借助卷积网络能力来描述图像下采样算子的光谱图像融合框架。
2025-04-09 11:08:15
363
原创 TMI | 2025 癌症多模式生存分析中的群体-个体合作学习
由于 WSIs 分辨率极高，超出了卷积神经网络（CNNs）的处理能力，所以采用将每个 WSI 中的组织区域分割成不重叠的图像块的策略，这些图像块在 20 倍放大下，分辨率为 256×256。患者分组：根据患者的真实生存时间，将所有患者划分为r个相等的组，假定同一组内的患者具有相似的风险特征。由于输入模态的高维度，从每个患者身上学习到的多模态交互，如现有方法[29]、[32]、[33]所做的那样，可能会过度拟合与任务无关的信息，导致泛化和辨别能力降低。：在多模态整合中，不同知识成分的重要性不同，
2025-04-07 15:38:29
471
原创 CVPR 2025 | 自适应矩形卷积 Adaptive Rectangular Convolution for Remote Sensing Pansharpening
ARConv 可以自动根据卷积核的形状以及不同区域的特征，动态调整采样点的数量，使不同区域能够拥有合适数量的采样点，从而更高效地捕捉多尺度信息，提升特征提取的准确性和效率。（2） 选择卷积核采样点的数量。ARConv 通过自适应调整卷积操作，能够更好地处理不同分辨率的遥感图像（如低分辨率多光谱图像和高分辨率全色图像），在特征提取过程中充分考虑多尺度信息，有助于更有效地融合光谱和空间信息，生成高质量的高分辨率多光谱图像，为后续的遥感图像分析和应用（如土地利用分类、环境监测等）提供更优质的数据基础。
2025-04-01 22:40:34
1314
原创 TGRS 2024 | 基于空间先验融合的任意尺度高光谱图像超分辨率
高分辨率高光谱图像（HR-HSI）在遥感应用中起着至关重要的作用。单HSI超分辨率（SR）方法旨在从其低分辨率（LR）对应物中获得空间域中的HR HSI。尽管已经进行了广泛的研究，但现有HSI SR方法的性能仍然有限，因为HSI数据结构本身无法为重建提供足够的空间信息，特别是在SR因子较大的情况下。在这项研究中，我们将单个HSI SR视为一项将LR HSI与其光谱响应RGB图像融合的任务，从中可以引入流行的超高分辨率RGB图像，即使在SR因子较大的情况下，也能为HSI SR提供足够和高质量的空间先验信息。
2025-04-01 22:31:04
956
原创 Pattern Recognition 2024 用于联合MRI重建和超分辨率的交叉对比互融合网络
磁共振成像（MRI）是一种广泛使用的医学成像技术，已成为诊断各种疾病和可视化人体内部结构和组织的重要工具。MRI重建和超分辨率是两种可以提高图像质量和加速成像过程的技术。然而，目前的方法独立执行这些任务，没有考虑它们之间的相关性。此外，多对比度SR方法通常将不同对比度的特征连接起来，而不考虑它们的相关性。在这篇论文中，我们提出了一种新的交叉对比互融合网络（CMF-Net），通过在两个任务之间实现特征表示的相互传播来执行联合MRI重建和超分辨率。
2025-03-21 15:31:01
1340
原创 KBS 2022 | 基于弱监督对比学习的盲图像超分辨率隐式退化建模
基于深度学习的图像超分辨率（SR）方法因其出色的性能而引起了越来越多的关注。然而，这些方法大多假设低分辨率（LR）观测值的退化是固定的和已知的（例如，双三次下采样）。然而，在实际情况下并不总是如此。此外，LR图像的固有退化与假设的退化之间的不匹配通常会导致伪影。因此，必须超越理想化的假设，使SR模型适应各种退化。为了实现这一目标，我们提出了一种基于对比学习的隐式退化建模（IDMBSR）的盲图像超分辨率方法。
2025-03-21 15:13:15
1137
原创 TNNLS 2024 | 基于残差超密集网络的高光谱图像空间光谱融合方法
这篇文章的研究背景是针对问题。高光谱图像在光谱分辨率上具有优势，但空间分辨率较低，而全色图像空间分辨率较高但缺乏光谱信息。因此，通过融合这两种图像，可以提高高光谱图像的空间分辨率，从而更好地支持遥感应用[1]。这篇文章提出了一种用于高光谱图像（HS）和全色图像（PAN）的时空光谱融合方法，称为残差超密集网络（RHDN）。A.建议的RHDB结构一般来说，网络越深，泛域性能越好。然而，大多数基于CNN的深层架构都会导致梯度消失问题。
2025-03-21 15:02:15
1104
原创 TMI 2025 | IGU-Aug：用于医学图像分析的信息引导无监督增强和像素级对比学习
我们观察到，当更多的图像从无噪声过渡到有噪声时，类内样本之间的互信息会增加，这会导致对数据增强参数的保守预测。图7显示，随着噪声图像数量的增加，我们的方法带来的好处会变小。：有了每个像素的特征描述符后，就可以结合图像信息熵和对比损失的分析结果，将像素划分到低信息、中等信息和高信息类别中。比如在图像的边缘区域，像素的变化往往比较明显，无监督检测器能识别出这些边缘像素的独特特征，像梯度的方向和大小等。辅助分析：图中展示的示例图像，通过无监督检测器来分析像素的相关特征，帮助确定每个像素所属的类别。
2025-03-18 11:37:21
867
原创 TMI 2024 | 多模态共同注意力融合网络结合在线数据增强的癌症亚型分类
在计算病理学中准确诊断癌症亚型是癌症个性化治疗的重要任务。最近的研究表明，多模态数据（如全载玻片图像（WSI）和多组学数据）的组合可以实现更准确的诊断。然而，由于多模式数据之间的异质性，以及多模式患者数据不足导致的性能下降，稳健的癌症诊断仍然具有挑战性。在这项工作中，我们提出了一种新的具有在线数据增强（ODA）的多模式共同注意融合网络（MCFN），用于癌症亚型分类。具体而言，提出了一种多模态相互引导共同注意（MMC）模块，以有效地执行密集的多模态交互。它使多模态数据能够在集成过程中相互指导和校准，以。
2025-03-18 10:58:10
754
原创 TMI | 通过互增强交叉模态图像生成和配准实现错位PAT和MRI图像的无监督融合
光声断层扫描（PAT）和磁共振成像（MRI）是两种广泛应用于临床前研究的先进成像技术。PAT具有高光学对比度和深成像范围，但软组织对比度较差，而MRI提供良好的软组织信息，但时间分辨率较差。尽管最近在使用预对齐多模态数据的医学图像融合方面取得了进展，但由于图像未对齐和空间失真，PAT-MRI 图像融合仍然具有挑战性。为了解决这些问题，我们提出了一种名为 PAMRFuse 的无监督多阶段深度学习框架，用于未对齐的 PAT 和 MRI 图像融合。PAMRFuse 包括一个。
2025-03-18 10:24:07
895
原创 多模态医学图像融合Multimodal Medical Image Fusion Network Based on Target Information Enhancement
方法：研究提出了一种多模态MRI图像融合方法，通过引入基于信息熵的特征信息测量块、融合块和新损失函数，旨在增强图像的纹理信息和结构清晰度，并通过跨模态学习与信息增强技术实现不同模态下肿瘤特征的显著呈现。
2025-03-18 10:01:18
817
原创 Zero-shot：半监督：pansharpening
在本文中，我们提出了一种用于泛锐化的零镜头半监督方法（Zero-Shot Semi-Supervised Method for Pansharpening，简称Zero-Pan），该方法只需要一对PAN/LRMS图像来训练和测试网络，结合了监督和非监督方法的优点。传统的全色锐化方法使用单对LRMS和PAN以全分辨率生成HRMS，但是由于融合产物之间的线性关系（通常不准确）的假设，它们无法生成高质量的融合产物。在这一部分中，我们将首先介绍现有的监督和非监督的全锐化学习策略，以及其他计算机视觉领域的零次学习。
2024-10-24 21:31:55
784
原创 HPRN：面向光谱超分辨率的整体先验嵌入关系网络
然而，目前的大多数方法在定制的卷积神经网络(CNN)中只考虑一般的和有限的先验，导致无法保证重建光谱的置信度和保真度。此外，我们还开发了基于变换的通道关系模块(TCRM)，它打破了以往深度特征先验中使用标量作为通道关系描述符的习惯，而是用一定的矢量来代替它们，使映射函数更加健壮和平滑。SSRM的示意图如图4所示。形式上，我们将 FS 播种到两个 1 × 1 卷积层 ψ(·) 和 ψ(·) 中，分别生成两个新特征 D 和 E, 然后，嵌入SRGB作为索引，沿H×W方向′展开并排序特征{D，E}--D′，E。
2024-10-24 21:21:50
851
原创 【条件扩散模型】基于条件扩散模型的水下高光谱图像复原和目标检测联合框架
在图像复原和目标检测的双重约束下，该模块同时实现了高质量的复原图像和优异的检测性能。此外，结果表明我们的框架优于最先进的方法，突出了其在水下高光谱成像应用中的实用性和优越性。通过联合优化图像恢复和目标检测，我们的网络可以生成适合视觉检查和计算机感知的图像，从而实现面向检测的恢复。级联操作将编码器中网络上、下分支的多尺度特征图像 和 合并，从而级联可变光谱图像和内在图像的特征。针对问题：水体吸收和散射特性对收集的水下目标光谱的影响机制直接影响着水下目标检测的准确性和水下 HSI 的恢复效果。
2024-10-21 11:01:16
1618
原创 PADUT：高光谱超分——像素自适应深度展开
3）阶段交互忽略了不同阶段特征的差异。第一个问题是【fixed gradient descent step in the data module while the degradation of HSI is agnostic in the pixel-level.】，这句话的字面意思是，在优化数据项时使用的是固定步长的梯度下降，然而退化的高光谱图像在像素级上是未知的，这是说高光谱图像不同位置的像素可能有着不同的压缩率。在图像处理中，低频信息通常指的是慢变化的图像部分，包括图像中的平滑区域和较大的结构。
2024-10-10 21:29:57
1070
3
原创 无监督高光谱图像超分辨率 ：跨模态互学习功能的 X 形交互式自动编码器
此外，为了有效地优化我们提出的XINet，提出了一种联合自我监督损失，使得在没有外部三元组监督的情况下能够以无监督的方式进行。在架构内部，它进一步分为三个组件，其中 IFEM 在头部，DFIM 在主体，AGM 在尾部，这不仅可以实现两个独立模态之间充分的信息传播，还可以产生强大的多尺度特征表示 和多深度。：考虑到HSI-MSI对应关系中存在的差异，设计了两个面向模态的模块来保证初始提取特征的充分性，一个名为MIFEM的模块提取HrMSI的空间细节，另一个名为HIFEM的模块利用光谱信息 LrHSI。
2024-10-09 10:38:06
1451
原创 TTST: 一种用于遥感图像超分辨率的Top-k标记选择变换器
基于Transformer的图像超分辨率融合算法具有全局和大范围的融合能力，在图像超分辨率处理中表现出了良好的性能。然而，现有的Transformer算法在大面积对地观测场景中的应用存在两个关键问题：（1）由于存在大量不相关特征点，导致特征点表示存在冗余;（2）单一尺度表示忽略了相似观测目标的尺度相关建模。为此，文中提出了一种自适应地消除不相关标记的干扰，使自注意计算更加紧凑的方法.具体地说，我们设计了一个剩余标记选择组（RTSG），通过动态地选择前k个关键字来获取最关键的标记。
2024-10-09 10:24:37
1657
原创 [多任务] MTLSC-Diff: 用于高光谱图像超分辨率和分类的扩散模型多任务学习
在连续迭代中，M-GSCS联合优化HSI SR和分类任务，以实现两者之间的相互指导，逐步提高图像的重建质量，提高类标签的准确性。具体而言，在时间步长T中，M-GSCS对在先前时间步长中获得的多尺度图像进行细化，并使用预测的高空间分辨率图像进行分类。在C-GSR的指导下，多尺度分类结果Y迫使目标尺度图像Xn t-1学习新知识，以进行下一步的图像细化。它可以为目标尺度图像XN T-1的高空间细节恢复提供一个可指导的方向，从而迫使目标尺度图像XN T-1在类引导的超分辨率动态细化策略下学习新的知识进行细化。
2024-10-07 10:12:41
1626
原创 Enhancing Hyperspectral Images via Diffusion Model and Group-Autoencoder Super-resolution Network
首先，它缓解了在面对高光谱维度HSI数据时与扩散模型的训练和收敛相关的挑战，“一对多”降维有效地减少了编码过程中的信息损失，从而丰富了特征信息（见表3）。其次，由于自动编码器的协作工作，我们的模型有效地将推理过程缩小到几个关键的中间隐藏变量，从而大大缩短了推理时间（见表5，图9），使我们的方法在HSI SR任务的实际应用中更高效、更可扩展。我们提出了一种新的基于扩散的SR模型，该模型有助于隐式捕获高水平和低水平特征，并提高了复杂光谱空间关系的学习能力。设计了一个较大的解码器模型，以更好地捕获特征。
2024-10-07 10:07:06
920
原创 Spectral–Spatial–Language Fusion Network for Hyperspectral, LiDAR, and Text Data Classification
论文阅读笔记
2024-09-24 09:34:08
850
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人