基于自相似增强网络的单图像超分辨率重建

本文提出了一种基于自相似增强网络（SSEN）的单图像超分辨率重建方法。该方法旨在利用参考图像或输入图像自身的自相似性来增强特征表示，从而提高重建图像的质量。

模型结构

基线模型

我们采用堆叠的残差块[18]实现基线模型，其中残差块不包含批量归一化。根据先前的工作[18]，我们从网络中移除了批量归一化，以获得更好的超分辨率性能。

自相似增强网络 (SSEN)

SSEN可以轻松地附加到任何现有的超分辨率架构上。从SSEN中提取的参考特征与输入特征在中层进行融合，然后在重建网络中进一步处理融合特征，最后进行上采样。此外，我们采用了输入层和输出层之间的全局跳跃连接，以确保我们的网络专注于残差特征学习。所有特征操作都在输入空间维度的四分之一大小上进行，以实现高效计算。

自引用模式

如果没有合适的参考图像可用，SSEN可以以自引用的方式使用。在这种情况下，该模块能够利用输入图像（即自身）中的线索，这对于最小化重建损失是有帮助的。

重建网络

对于重建网络，我们采用了RCAN [37]作为基线网络，该网络在没有自集成方案的SISR中表现最佳。RCAN采用了残差内残差结构，包含了几个具有短跳跃连接的残差块。此外，它采用了通道注意机制来考虑通道之间的相互依赖关系。通过将SSEN无缝插入基线网络中，可以提高SISR的性能。

实验结果

实验结果表明，我们提出的方法在基准数据集上取得了显著的性能提升，尤其是在放大倍数较大的情况下。这表明SSEN能够有效地利用自相似性来增强特征表示，从而提高重建图像的质量。

结论

本文提出了一种基于自相似增强网络的单图像超分辨率重建方法。该方法简单有效，并在基准数据集上取得了显著的性能提升。未来工作将探索如何进一步提高SSEN的效率和性能，以及如何将其应用于其他图像恢复任务。