Keys to Better Image Inpainting: Structure and Texture Go Hand in Hand(2022)

代码地址：GitHub - SHI-Labs/FcF-Inpainting: [WACV 2023] Keys to Better Image Inpainting: Structure and Texture Go Hand in Hand1、摘要

本文认为通过生成的结构和纹理可以更好地判断修复算法的性能。结构是指生成的物体边界或清晰的几何结构，纹理是指高频细节，尤其是填充在结构区域内部的人造重复图案。本文认为更好的结构通常是从从粗到细基于GAN的生成器网络，重复模式可以被更好塑造使用高频快速傅立叶卷积层。在本文提出了一种结合两种设计优点的新型修复网络。因此，本文的模型在使用单个网络的结构生成和重复纹理合成方面实现了显著的视觉质量，以匹配最先进的性能。本文的结论进一步强调了图像修复质量的两个关键因素，结构和纹理，作为未来修复网络的设计方向。

本文提出了一种直观有效的修复架构，该架构利用FFC的高接收能力来增强强大的共调制StyleGAN2生成器，以在纹理和结构上实现同样良好的性能，如图1所示。具体而言，本文在基于粗到细的StyleGAN的生成方案中生成图像结构。同时，本文将生成的粗糙特征和来自编码器的跳跃特征合并，并通过快速傅立叶合成(FaF-Syn)模块来更好地生成重复纹理。本文的想法使结构和纹理在一个单一的网络中很好地合成。

本文利用多尺度高感受野傅立叶卷积层可以更好地合成重复纹理。本文结合两者的优点，提出了一种用于通用图像修复的傅立叶粗CF)生成器。本文的模型很好地同时处理了纹理和结构，并很好地推广到自然和人工场景。