【CVPR 2025】迭代预测-评判编解码网络:突破真实场景去雾的极限
摘要
本文提出了一种名为IPC-Dehaze的创新去雾方法,通过迭代预测-评判框架和码本解码机制,有效解决了现有去雾算法在复杂场景下的性能瓶颈。该方法在多个基准测试中取得了SOTA性能,尤其在非均匀雾霭、色彩失真和低光照条件下表现出色。代码已开源,为后续研究提供了重要参考。
引言
图像去雾是计算机视觉的基础任务,在自动驾驶、遥感和监控等领域具有广泛应用。现有方法主要分为物理模型驱动和数据驱动两类,但在处理真实场景中的复杂雾霭时仍存在不足。本文提出的IPC-Dehaze框架通过迭代优化和码本解码机制,显著提升了去雾效果,特别是在非均匀雾霭和低光照条件下。
相关工作
- 物理模型方法:基于大气散射模型,通过估计传输图和大气光来恢复图像。代表性方法包括He等人的暗通道先验(DCP)和Fattal的独立成分分析。这类方法对雾霭分布假设较强,在复杂场景下效果有限。
- 数据驱动方法:利用深度学习直接学习雾霭图像到清晰图像的映射。代表性方法包括AOD-Net、MSCNN和GridDehazeNet。虽然取得了不错的效果,但在处理非均匀雾霭和保留图像细节方面仍有挑战。
- 迭代优化方法:通过多次迭代逐步改进去雾结果,如GFF-Net和ID-CGAN。这些方法通常计算复杂度较高,但能获得更精细的结果。
方法
整体框架
IPC-Dehaze采用编码器-解码器架构,包含三个核心组件:
- 特征提取编码器:使用ResNet骨干网络提取雾霭图像的多尺度特征。
- 迭代预测器:通过多次迭代逐步生成去雾结果,每次迭代都基于上一次的输出和原始特征。
- 评判解码器:评估当前预测结果的质量,并生成反馈信号指导下一次迭代。
迭代预测-评判机制
- 预测器:设计为U-Net结构,通过跳跃连接融合多尺度信息,逐步细化去雾结果。
- 评判器:采用PatchGAN架构,评估预测结果的局部和全局质量,并生成质量图。
- 迭代优化:通过预测器和评判器的交互,实现结果的逐步优化,避免陷入局部最优。
码本解码机制
引入可学习的码本,将特征表示为码本向量的组合,有效压缩特征空间并增强特征表达能力。码本解码过程分为两步:
- 编码阶段:将输入特征映射到码本空间,生成稀疏编码。
- 解码阶段:通过加权组合码本向量,重建去雾图像。
实验
数据集
- 合成数据集:RESIDE标准数据集(OTS和SOTS)。
- 真实数据集:HazeRD、NH-HAZE和I-HAZE。
评估指标
使用PSNR、SSIM、NIQE和LPIPS等指标评估去雾质量。
对比方法
与10种SOTA方法进行对比,包括物理模型方法(DCP、Fattal)和深度学习方法(AOD-Net、MSCNN、GridDehazeNet等)。
实验结果
- 定量结果:在所有评估指标上均显著优于现有方法,特别是在PSNR和SSIM上提升明显。
- 定性结果:能有效去除非均匀雾霭,保留图像细节,减少颜色失真和伪影。
- 消融实验:验证了迭代机制和码本解码的有效性。
结论
本文提出的IPC-Dehaze框架通过迭代预测-评判机制和码本解码,显著提升了真实场景下的图像去雾效果。实验结果表明,该方法在多个基准测试中取得了SOTA性能,特别是在处理复杂雾霭条件下表现出色。未来工作将探索在视频去雾和实时应用中的扩展。
应用场景
- 自动驾驶:提升恶劣天气下摄像头的感知能力,增强自动驾驶系统的安全性。
- 遥感与卫星成像:去除大气雾霾对遥感图像的影响,提高地物识别和分析的准确性。
- 监控系统:改善恶劣天气下监控摄像头的图像质量,提升安防监控效果。
- 无人机巡检:在雾霾天气下获取清晰的巡检图像,保障电力、管道等设施的安全。
- 影视后期制作:快速去除镜头中的雾气,节省人工处理成本,提升制作效率。