基于知识蒸馏的低分辨率图像对应匹配

引言

低分辨率 (LR) 图像中的信息丢失会导致对应匹配变得困难，特别是在高 текстурированных 区域。两个高分辨率 (HR) 图像之间的匹配性能通常优于 LR-HR 匹配。为了解决这个问题，本文提出了一种基于知识蒸馏 [10] 的 LR 图像对应匹配框架。

方法

不同于传统的解决模型压缩问题的知识蒸馏任务 [10, 18]，我们的目标是将 HR-HR 匹配的能力迁移到 LR-HR 匹配。因此，教师 HR-HR 匹配模型和学生 LR-HR 匹配模型具有相同的架构设计，但输入不同。

为了实现知识迁移，我们利用 HR 输入图像和参考图像的描述符之间的距离作为额外的监督信息。具体来说，我们提出了将教师模型的相关性矩阵（表示输入图像和参考图像描述符之间距离的矩阵）推向学生模型的相关性矩阵。

对于一个输入图像，我们有 N 个描述符，其参考图像有 M 个描述符。通过计算输入图像的描述符与参考图像的描述符之间的相关性，我们可以得到一个 N×M 的矩阵来表示相关性矩阵，并通过应用 softmax 函数和温度 τ 将其视为概率分布。输入图像在位置 p 处的描述符和参考图像在位置 q 处的描述符之间的相关性计算如下：

xxx (此处应替换为相关性计算公式)

通过计算每对描述符 p 和 q 的相关性 cor_pq，我们可以获得相关性矩阵。我们将 COR_T 和 COR_S 分别表示为教师相关性矩阵和学生相关性矩阵。

对于输入图像的每个描述符 p，可以使用 Kullback-Leibler (KL) 散度来衡量教师模型的相关性和学生模型的相关性之间的差异：

yyyy (此处应替换为KL散度计算公式)

相关性矩阵包含描述符之间的关系知识。通过最小化两个相关性矩阵之间的差异，可以将教师模型的匹配能力迁移到学生模型。这个目标可以定义如下：

zzz (此处应替换为最小化目标函数)

结合教师-学生相关性蒸馏，用于训练对比对应网络的总损失为：

rrr (此处应替换为总损失函数)

其中 α_kl 是 KL 散度损失的权重。

结论

本文提出了一种基于知识蒸馏的低分辨率图像对应匹配方法，通过将高分辨率图像匹配的知识迁移到低分辨率图像匹配中，有效提高了低分辨率图像匹配的性能。实验结果表明，该方法在多个数据集上均取得了优异的性能。