基于相似性搜索和提取网络的参考图像超分辨率

摘要: 基于参考图像的超分辨率 (RefSR) 旨在利用高分辨率参考图像的信息来增强低分辨率图像的细节。本文提出了一种新颖的 RefSR 方法，其核心是相似性搜索和提取网络 (SSEN)。SSEN 采用可变形卷积，通过多尺度结构和非局部块获得大感受野，能够有效地在参考图像中搜索和提取与输入图像内容相似的特征。与现有方法不同的是，SSEN 不需要任何流程监督即可实现精确的特征对齐。通过将提取的参考特征整合到重建过程中，该方法能够有效地恢复高频纹理，显著提升重建图像的视觉质量。

引言: 基于参考图像的超分辨率近年来备受关注，其目标是从高分辨率参考图像中借鉴信息以增强低分辨率图像的细节。然而，有效地从参考图像中提取和传输相关信息仍然是一个挑战。

方法: 本文提出了一种端到端的深度学习框架，用于基于参考图像的超分辨率。该框架的核心是相似性搜索和提取网络 (SSEN)，它以对齐的形式从参考图像中提取特征，并在像素空间中匹配内容，而无需任何流程监督。

SSEN 的关键设计如下：

可变形卷积: 我们采用可变形卷积来实现灵活的特征对齐。通过堆叠多个可变形卷积层，感受野逐渐扩大，从而能够捕捉到更大范围内的相似性。* 多尺度结构和非局部块: 为了在整个图像范围内搜索相似区域，我们采用多尺度结构和非局部块来传播偏移信息，使 SSEN 能够以极大感受野进行像素级或块级匹配。

实验结果: 我们在多个基准数据集上进行了大量实验，结果表明，与现有方法相比，我们的方法在恢复高频纹理和提升图像视觉质量方面取得了显著的改进。

结论: 本文提出了一种基于 SSEN 的新型 RefSR 方法，通过有效地搜索和提取参考图像中的相似内容，实现了高质量的图像超分辨率。实验结果证明了该方法的有效性，并为未来 RefSR 的研究提供了新的思路。