Reference-based Super-Resolution Ref-SR 40 39 3426 has attracted substantial attention in recent years Com-pared to Single-Image-Super-Resolution SISR 6 13 1417 25 4 where the only input is a single l

基于参考图像的超分辨率（Ref-SR）[40, 39, 34, 26]近年来引起了广泛关注。与单图像超分辨率（SISR）[6, 13, 14, 17, 25, 4]相比，SISR仅使用单个低分辨率（LR）图像作为输入，而Ref-SR则在附加的高分辨率（HR）参考图像的指导下对LR图像进行超分辨率处理。通过将HR参考图像的纹理转移，为LR图像提供更多细节。

Ref-SR中纹理转移的关键步骤是找到输入图像和参考图像之间的对应关系。现有的方法[39, 34, 32]隐式地执行对应关系匹配。它们基于内容和外观相似性计算对应关系，然后将其嵌入到主要框架中。然而，在真实世界的变化下准确计算对应关系是一项困难的任务，原因有两个主要挑战：1）输入图像和参考图像之间的基础变换差距；2）输入图像和参考图像之间的分辨率差距。在Ref-SR中，相同的对象或类似的纹理模式通常同时出现在输入图像和参考图像中，但由于尺度和旋转变换，它们的外观会有所不同。在这种情况下，纯粹基于外观计算的对应关系是不准确的，导致纹理转移效果不理想。对于分辨率差距，由于LR输入图像和HR参考图像中包含的信息量不平衡，后者经常被降采样（到LR图像）以匹配前者（在分辨率上）。降采样操作不可避免地导致信息丢失，阻碍了对准确对应关系的搜索，特别是对于细纹理区域。

为了解决上述挑战，我们提出了用于鲁棒参考图像超分辨率的C2-Matching，其中明确执行了交叉变换和交叉分辨率匹配。为了处理变换差距，我们提出了对比对应关系网络来学习输入图像和参考图像之间的鲁棒对应关系。具体而言，我们采用了额外的三元边距损失，最小化了变换前后的点特征距离，同时最大化了不相关特征的距离。因此，提取的特征描述符对尺度和旋转变换更加鲁棒，可以用于计算更准确的对应关系。

至于分辨率差距，受到知识蒸馏的启发，我们提出了一种教师-学生相关性蒸馏。我们为HR-HR匹配训练教师对比对应关系网络。由于教师网络采用两个HR图像作为输入，它在匹配具有复杂纹理的区域方面更加出色。因此，教师模型的知识可以被蒸馏出来，以指导更加模糊的LR-HR匹配。教师-学生相关性蒸馏使得对比对应关系网络能够更准确地计算纹理区域的对应关系。

在获得对应关系后，我们通过动态聚合模块将参考图像的信息融合，以实现HR纹理的转移。通过C2-Matching，在标准CUFED5数据集上实现了1dB以上的提升。如图1所示，与SRNTT [39]相比，我们的C2-Matching找到了更准确的对应关系（用红色虚线标记），因此具有更出色的恢复性能。

为了在更真实的环境中评估Ref-SR任务，我们贡献了一个名为Webly-Referenced SR（WR-SR）数据集。在实际应用中，给定一个LR图像，用户可以通过某些网络搜索引擎找到其相似的HR参考图像。受此启发，对于WR-SR中的每个输入图像，我们通过Google图像搜索找到其参考图像。收集的WR-SR可以作为真实场景的基准。

总之，我们的主要贡献是：1）为了减轻变换差距，我们提出了对比对应关系网络，以计算更鲁棒的尺度和旋转变换对应关系。2）为了弥合分辨率差距，我们采用教师-学生相关性蒸馏，通过HR-HR匹配的指导进一步提升学生LR-HR匹配模型的性能，特别是对于细纹理区域。3）我们贡献了一个名为Webly-Referenced SR（WR-SR）的新基准数据集，以鼓励在真实场景中进行更实际的应用。