基于调制可变形卷积的增强型相似性搜索与提取网络

引言

可变形卷积[4]是一种改进CNN模型几何变换建模能力的技术。它通过训练可学习的偏移量来帮助使用变形采样网格对像素点进行采样。由于这个特性，它被广泛用于特征对齐或隐式运动估计，而无需任何光流先验[26, 28]。

本文方法

在这项工作中，我们利用可变形卷积进行相似性搜索和特征提取步骤，采用调制可变形卷积[43]，该方法还使用调制标量来学习采样核的动态权重。

在调制可变形卷积中，调制标量与偏移量一起学习，使得卷积核在空间上更具变异性。形式上，可变形卷积操作定义如下：

Y(p) = ∑_{k=1}^{K} w_k * X(p + p_k + △p_k) * △m_k

其中：

X是输入* Y是输出* k和K分别表示核权重的索引和数量* w_k，p，p_k 和 △p_k 分别表示第k个核权重、中心索引、第k个固定偏移量和第k个位置的可学习偏移量* △m_k 是调制标量，它使得权重学习具有相关性，以便在RefSR中稳健地提取杂乱或不相关的输入数据的对应关系。

网络结构

我们提出的增强型相似性搜索与提取网络 (SSEN) 由多个可变形卷积层顺序排列而成，如图2所示。将可变形卷积层逐层堆叠的目的是从参考图像中采样更多位置，以便用更大的感受野对齐特征。SSEN逐层地根据动态偏移估计器提供的偏移量将参考特征逐渐对齐到输入特征上。

结论

本文提出的基于调制可变形卷积的增强型相似性搜索与提取网络能够有效提升图像特征对齐和提取的效率。该网络通过学习可变形卷积核的偏移量和调制标量，实现了对复杂几何变换的鲁棒性，并在处理杂乱或不相关输入数据时表现出优异的性能。

参考文献

[4] Jifeng Dai, Haozhi Qi, Yuwen Xiong, Yi Li, Guodong Zhang, Han Hu, Yichen Wei. Deformable convolutional networks. In ICCV, 2017.[26] Deqing Sun, Xiaodong He, Xiaoou Tang, Jian Sun. Deeply learned face representations are sparse, selective, and robust. In CVPR, 2015.[28] Kai Zhao, Shahan Mahmood, Andreas Kopf, Michael F Cohen, Peter Vandergheynst. Video super-resolution with recurrent structure-detail network. In ECCV, 2018.[43] Xizhou Zhu, Han Hu, Stephen Lin, Jifeng Dai. Deformable convnets v2: More deformable, better results. In CVPR, 2019.