基于C2匹配的参考超分辨率图像增强

基于C2匹配的参考超分辨率图像增强

基于参考的超分辨率 (Ref-SR) 通过引入额外的高分辨率 (HR) 参考图像来增强低分辨率 (LR) 输入图像，近年来成为一种备受瞩目的技术。然而，现有 Ref-SR 方法大多依赖于隐式对应匹配，从参考图像中借用 HR 纹理来弥补输入图像的信息损失，但由于输入图像和参考图像之间存在变换差距（例如，缩放和旋转）和分辨率差距（例如，HR 和 LR），执行局部迁移十分困难。

为了解决这些挑战，本文提出了 C2-Matching 方法，该方法能够跨变换和分辨率生成明确且鲁棒的匹配。

C2-Matching 的核心组成部分包括:

1. 针对变换差距： 我们提出了一个对比度对应网络，利用输入图像的增强视图来学习具有变换鲁棒性的对应关系。2. 针对分辨率差距： 我们采用了一种师生相关性蒸馏方法，从更容易的 HR-HR 匹配中提取知识，以指导更模糊的 LR-HR 匹配。3. 动态聚合模块： 我们设计了一个动态聚合模块来解决潜在的不对齐问题。

此外，为了在真实场景下忠实地评估 Ref-SR 的性能，我们贡献了 Webly-Referenced SR (WR-SR) 数据集，该数据集模拟了实际使用场景。

大量实验表明：

• 我们提出的 C2-Matching 在标准 CUFED5 基准测试中的性能显著优于现有技术，提高了 1dB 以上。* C2-Matching 在 WR-SR 数据集上也表现出良好的泛化能力，并且对大规模和旋转变换具有鲁棒性。

关键词： 参考超分辨率, 图像增强, C2匹配, 变换差距, 分辨率差距, 对比度对应网络, 师生相关性蒸馏, 动态聚合模块