【论文知识点笔记】An adaptive self-guided wavelet convolutional neural network（小波变换+亚像素卷积+分组卷积+注意力+复合损失）

最新推荐文章于 2025-04-30 15:41:08 发布
最新推荐文章于 2025-04-30 15:41:08 发布
阅读量761 收藏 4
点赞数
分类专栏： 【论文知识点笔记】 文章标签： 深度学习 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_25601345/article/details/125523699
版权

An adaptive self-guided wavelet convolutional neural network with compound loss for low-dose CT denoising（小波变换+亚像素卷+分组卷积+注意力）

发布期刊：http://www.letpub.com.cn/index.php?journalid=1175&page=journalapp&view=detail

一、摘要

  • 计算机断层扫描 (CT) 是一种广泛用于临床、工业和其他应用的成像方法。此外，它是现代临床医学影像诊断的常用方法之一。但是，CT扫描中过多的辐射剂量会对人体造成伤害。降低辐射剂量会导致重建图像质量严重下降，产生散斑噪声和条纹伪影，影响临床医学诊断的准确性。为了在降低 CT 辐射剂量的同时获得高质量的图像，我们提出了一种自适应自导小波卷积神经网络 (ASWCNN) 将低剂量 CT (LDCT) 图像转换为正常剂量 CT (NDCT) 图像，如可能的。在我们的 ASWCNN 中，结合小波变换和亚像素卷积，提出了一种自上而下的自引导结构作为网络的整体架构。提出了一种可调整的金字塔残差块（APRB）来自适应提取多尺度和多样性的信息特征，因为图像分辨率随着网络的降低而降低。提出了相邻尺度信息融合块（ASIFB），逐步融合相邻尺度之间的信息特征，提高网络训练的稳定性。同时，我们使用跨纬度混合注意力块（CMAB）作为我们网络的特征增强块来增强融合的特征信息，增强有效信息并抑制无用信息。此外，我们提出了校正重建块 (CRB) 以减少获得的去噪 CT 图像与给定的 NDCT 图像之间的差距。最后，我们将像素级损失、结构感知损失和梯度损失相结合的复合损失作为我们的损失函数。实验结果表明，我们提出的方法可以有效地保留CT图像的结构和纹理信息，同时去除噪声和伪影。同时，与其他方法相比，获得了更好的主观视觉评价和客观定量评价，网络泛化能力好。

  • 源代码暂无。

二、介绍

  • 介绍了CT成像的背景及相关技术
  • 介绍了一些CT重建及去噪的算法
  • 介绍了其他人如何解决CT重建图像的质量
  • 引出本文：虽然深度学习在 LDCT 图像重建方面做了一些工作，区分了噪声点和焦点特征在形成中的区别。如何有效地设计深度模型，充分提取图像的特征信息，在去除图像噪声的同时有效保留病灶的结构特征，还原图像的细节信息，仍然是一个值得研究的问题。 LDCT图像结合空间域数据去噪已被证明是有效的，可以更好地分离噪声信息和内容信息。近年来，人们提出了多种信号分解技术来获取空间域数据[20,21]。由于其可逆性，DWT 可以保证在下采样过程中获得无损的特征信息。此外，DWT可以有效地捕捉特征图的频率和位置信息，有助于保留细节纹理，因此被广泛用于获取空间域数据。总之，我们提出了一种用于 LDCT 去噪的自适应自导小波卷积神经网络 (ASWCNN) 来解决这些问题。

三、创新点

  1. 提出了一种用于LDCT去噪的自适应自导小波卷积神经网络（ASWCNN），它逐渐学习退化的输入特征信息，从而将整个去噪过程分解为更易于管理的步骤。在去除噪声的同时，可以保留病变的结构细节。
  2. 提出了可调金字塔残差块（APRB）来自适应提取不同尺度和层次的特征信息。
  3. 提出相邻尺度信息融合块（ASIFB），逐步融合相邻尺度的特征信息，消除不同尺度特征信息之间的语义鸿沟，便于多尺度信息从早期到晚期的传递，提高了训练的稳定性。
  4. 提出跨纬度混合注意力块（CMAB），建立通道维度和空间维度之间的相互依赖关系，增强相邻尺度融合后的特征信息，抑制无用信息，使特征进一步传输更丰富。
  5. 提出了一种校正重建块（CRB），用于提取和学习不同尺度和层次的特征信息融合，并对融合后的特征信息进行引导和校正。同时，利用跳转连接引入低层特征信息，更好地生成去噪CT图像。
  6. 我们设计了一个复合损失函数来约束我们网络的生成结果，减少生成图像与目标图像之间的差距，进一步提高重建图像的质量。

四、方法

1、二维图像Haar小波变换

对于二维图像Haar变换不再从一个方向进行滤波，而是从水平和竖直两个方向进行低通和高通滤波（水平和竖直先后不影响），用图像表述如图2所示：图2中a表示原图，图b表示经过一级小波变换的结果，h1 表示水平反向的细节，v1 表示竖直方向的细节，c1表示对角线方向的细节，b表示下2采样的图像。图c中表示继续进行Haar小波变换。一级Haar小波变换实际效果如图所示。
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2、亚像素卷积

Sub-pixel convolution是一种巧妙的图像及特征图upscale的方法，又叫做pixel shuffle（像素洗牌）。我们知道，用深度学习处理图像的话，经常需要对特征图放大。常见的方法有直接上采样，双线性插值，反卷积等等。本文主要介绍一种在超分辨率中经常使用的upscale方法——sub-pixel convolution。
在这里插入图片描述
具体细节
在这里插入图片描述

3、分组卷积

在这里插入图片描述

在这里插入图片描述

4、GAP和GMP

在这里插入图片描述

5、复合损失（像素损失+感知损失+梯度损失）

三个损失权重分别是：1，0.84，0.16
在这里插入图片描述
在这里插入图片描述

参考：https://blog.csdn.net/qq_34706871/article/details/105665002

6、评估指标（PSNR+SSIM+RMSE）

参考：图像质量评估指标：PSNR（峰值信噪比） / SSIM（结构相似度） 原理及Python代码
参考：RMSE（均方根误差）、MSE（均方误差）、MAE（平均绝对误差）、SD（标准差）

五、网络结构

1、Sub-pixel Convolution

在这里插入图片描述

2、APRB

在这里插入图片描述

3、CMAB

在这里插入图片描述

4、ASWCNN

在这里插入图片描述

六、结果

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

【图像去噪（Image Denoising）】关于【图像去噪】专栏的相关说明，包含适配人群、专栏简介、专栏亮点、阅读方法、定价理由、品质承诺、关于更新、去噪概述、文章目录、资料汇总、问题汇总（更新中）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
01-14 1万+
你是否在全网苦寻【图像去噪（ImageDenoising）】的相关资料？你的目标是否是看懂【图像去噪（ImageDenoising）】的相关论文，复现代码，跑出结果，并试图创新？你是否需要发表【图像去噪（ImageDenoising）】的相关论文毕业？你是否需要做【图像去噪（ImageDenoising）】的相关项目，开发软件，研究算法，获得专利或者软著？只要是与【图像去噪（ImageDenoising）】有关的问题，那么请继续往下看。
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
热门推荐
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
Wavelet Neural Networks (2014)
07-03
Wavelet Neural Networks (2014)Wavelet Neural Networks (2014)
《Multi-Level Wavelet Convolutional Neural Networks》阅读笔记
69小石头的博客
05-16 6541
一、论文 《Multi-Level Wavelet Convolutional Neural Networks》 摘要：在计算机视觉中，卷积网络（CNN）通常采用合并来扩大接收域，其优点是计算复杂度低。 但是，合并可能导致信息丢失，因此不利于进一步的操作，例如特征提取和分析。 最近，已经提出了扩张滤波器来在接收场大小和效率之间进行折衷。 但是，伴随的网格化效果可能导致对具有棋盘格图案的输入图像进行稀疏采样。 为了解决这个问题，在本文中，我们提出了一种新颖的多级小波CNN（MWCNN）模型，以在接收场大小
正在爆发！“小波变换+注意力机制”成论文新赛道！
最新发布
Aimoxin111的博客
04-30 733
近年来，小波变换（Wavelet Transform）与注意力机制（Attention Mechanism）的融合已成为信号处理与深度学习交叉领域的研究热点。小波变换通过时频局部化分析克服了傅里叶变换在非平稳信号处理中的局限性，其多分辨率特性（MRA）为特征提取提供了数学完备的框架。而注意力机制通过动态权重分配实现了对关键特征的自适应聚焦，这与小波分析中"显著系数优先"的思想存在内在耦合性。我整理了一些【论文+代码】合集，需要的同学公人人人号【航识无涯学术】发123自取。
Graph Wavelet Neural Network
FengF2017的博客
03-26 4354
论文标题 Graph Wavelet Neural Network 论文来源 ICLR 2019, 论文PDF 论文代码 https://github.com/benedekrozemberczki/GraphWaveletNeuralNetwork 1 背景梳理 对于自然界中广泛存在的非欧式拓普数据，即图（Graph），的研究得到了广泛关注，为了有效提取图的特征表达，图神经网络（GNN）等一类优秀的模型被提出，并适用于广泛的应用场景，如社交网络、推荐系统、智慧医疗以及城市规划。谱域卷积网络（Spectra
小波神经网络wavelet neural network
夜晓岚的博客
06-25 7953
最近在看小波神经网络，感觉介绍的不是太全面。特做了本note，供自己和兴趣者学习。 参考文献: Wavelet Neural Network Using Multiple Wavelet Functions in Target Threat Assessment paper
小波神经网络的基本原理,小波神经网络什么意思
super67269的博客
09-02 776
小波神经网络（Wavelet Neural Network， WNN）是在小波分析研究获得突破的基础上提出的一种人工神经网络写作猫。它是基于小波分析理论以及小波变换所构造的一种分层的、多分辨率的新型人工神经网络模型。即用非线性小波基取代了通常的非线性Sigmoid 函数，其信号表述是通过将所选取的小波基进行线性叠加来表现的。它避免了BP 神经网络结构设计的盲目性和局部最优等非线性优化问题，大大简化了训练，具有较强的函数学习能力和推广能力及广阔的应用前景。
Deep Learning-Based Video Coding: A Review and A Case Study
weixin_30325487的博客
06-13 2197
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ 1、Abstract: 　　本文主要介绍的是2015年以来关于深度图像/视频编码的代表性工作，主要可以分为两类：深度编码方案以及基于传统编码方案的深度工具。对于深度编码方案，像素概率建模和自动编码器是两种方法，分别可以看作是预测编码方案和变换编码方案。对于深度工具，有几种使用深度学习来执行帧内预测、帧间预测、跨通道预测、概率分...
（二十：2020.11.06）MICCAI 2020 追踪之论文纲要（译）＜下＞
Jojo论文基地
11-06 4239
讲在前面 此文章包含第五、第六和第七部分。 论文目录 PART V 《Biological, Optical and Microscopic Image Analysis 生物，光学和显微图像分析》 生物，光学，显微成像 概要 1.Channel Embedding for Informative Protein Identification from Highly Multiplexed Images通道嵌入用于从高度复用的图像中鉴定信息性蛋白质 2.Demixing Calcium
A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications_简单总结
m0_37569924的博客
03-10 1823
SR_简单总结 ① GANrecursive networkResidual networkCNNAUTO ENCODERELSE SR_简单总结 ① ) GAN GANISRGAN: Improved Super-Resolution Using Generative Adversarial Networks （CVC) G-GANISR: Gradual generative adversa...
小波变换和注意力机制结合
985小菜鸡
09-13 2219
通过将小波变换与注意力机制结合，COD任务中的伪装物体检测可以从多尺度特征提取和选择性关注的角度进行创新，提升检测性能。这种方法的创新点在于引入小波变换来增强特征提取的多样性，结合注意力机制使得模型更加灵活和准确地捕捉伪装物体的微弱特征。虽然Camouflaged Object Detection是一个图像分割任务，但小波变换和注意力机制的结合仍然能够作为一个创新点。在分割任务中，小波变换有助于多尺度特征的提取，尤其是伪装物体的边缘和细节信息，而注意力机制则可以帮助模型在分割时聚焦到伪装物体的关键区域。
[Base]WTConv-Wavelet Convolutions for Large Receptive Fields
天下事有难易乎？为之，则难者亦易矣；不为，则易者亦难矣。人之为学有难易乎？学之，则难者亦易矣；不学，则易者亦难矣。
08-20 1970
证明了利用小波变换( Wavelet Transform，WT )，实际上可以获得非常大的感受野而不受过参数化的影响，例如，对于一个k × k的感受野，所提出的方法中可训练参数的数量只与k成对数增长。所提出的WTConv层可以作为现有架构中的直接替换。
Wavelet Convolutions for Large Receptive Fields
通街是密人有的博客
10-16 2485
近年来，人们一直试图增加卷积神经网络（CNN）的核大小，以模拟Vision Transformer（ViT）的全局感受野自注意块。然而，这种方法在达到全局感受野之前很快就达到了上限和饱和。在这项工作中，我们证明了通过利用小波变换（WT），实际上可以在不受过度参数化影响的情况下获得非常大的感受野，例如，对于k × k的感受野，所提出的方法中可训练参数的数量仅随k呈对数增长。所提出的层，称为WTConv，可以用作现有架构中的临时替代品，产生有效的多频响应。并随着感受野的大小优雅地缩放。
结合创新！小波变换+注意力机制，实现100%分类准确率
09-29 1565
这篇文章通过引入高效的Token-mixing机制和多样化的池化策略，提出了一种资源效率高且性能良好的视频摘要方法。这种方法在处理大规模视频数据时，尤其是在资源受限的环境中，具有显著的优势。这篇文章的主要贡献在于提出了一种结合了CNN和Transformer优点的新型框架SCH，通过窗口化通道注意力机制和DWT，有效地扩大了模型的感受野，提高了学习图像压缩的性能。此外，该方法在保持计算效率的同时，实现了与现有技术相比的显著性能提升，这在图像压缩领域具有重要的应用价值。
小波卷积网络Multi-level Wavelet-CNN for Image Restoration论文阅读笔记
import_torch_as_tf
09-30 1万+
论文链接：Multi-level Wavelet-CNN for Image Restoration | IEEE Conference Publication | IEEE Xplorex​​​​​​​x 论文来源：CVPRW2018 项目地址：GitHub - lpj0/MWCNN: Multi-level Wavelet-CNN for Image Restoration（matlab）GitHub - lpj-github-io/MWCNNv2: Multi-level Wavelet Conv
【论文阅读笔记】Wavelet Convolutions for Large Receptive Fields
qq_46056318的博客
11-04 3690
大感受野的小波卷积2024 EECVPaperCode近年来，人们试图通过增加卷积神经网络（ConvolutionalNeuralNets，CNNs）的核尺寸来模拟视觉变换器（VisionTransformers，ViTs）的自我注意块的全局感受野。然而，这种方法很快就达到了上限和饱和，在实现了一个全局感受野之前。本文证明，通过利用小波变换（WT），有可能获得非常大的感受野，而不遭受过度参数化，例如，对于k × k的感受野，所提出的方法中的可训练参数的数目仅随k的对数增长。
十一、机器学习进阶知识：小波神经网络（WNN）的实现（Python，附源码及数据集）
weixin_42051846的博客
02-20 1万+
本文对小波神经网络（WNN）的理论基础及建模步骤进行介绍，之后使用Python实现基于WNN的数据预测，通俗易懂，适合新手学习，附源码及实验数据集。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

LetsonH

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值