基于双重超分辨率学习的语义分割

基于双重超分辨率学习的语义分割

1. 引言

语义分割是计算机视觉领域的一项基础性任务，旨在为图像中的每个像素分配语义标签。它在自动驾驶、机器人感知等领域有着广泛的应用。然而，如何在保持高效推理速度的同时，实现高精度的语义分割，尤其是在资源受限的移动设备上，仍然是一个挑战。

现有的语义分割方法通常需要高分辨率的输入图像才能取得良好的性能。然而，高分辨率图像会导致计算量和内存占用增加，限制了模型的推理速度。为了解决这一问题，一些方法尝试使用低分辨率图像进行分割，但这又会导致精度下降。

为了解决这一困境，本文提出了一种新颖的**双重超分辨率学习（Dual Super-Resolution Learning，DSRL）**框架，该框架能够在保持高效推理速度的同时，显著提高语义分割的精度。

2. 方法

DSRL 框架的核心思想是将超分辨率技术应用于语义分割任务中，通过学习低分辨率图像到高分辨率图像的映射关系，从而提高分割精度。具体来说，DSRL 框架包含两个分支：

• **语义分割超分辨率（Semantic Segmentation Super-Resolution，SSSR）分支：*该分支以低分辨率图像作为输入，通过一个轻量级的语义分割网络生成低分辨率的分割结果。然后，通过一个超分辨率网络将低分辨率的分割结果上采样到高分辨率，得到最终的分割结果。 **单图像超分辨率（Single Image Super-Resolution，SISR）分支：**该分支与 SSSR 分支共享同一个特征提取器，以低分辨率图像作为输入，通过一个超分辨率网络生成高分辨率图像。

为了融合两个分支的信息，DSRL 框架还引入了一个**特征亲和力（Feature Affinity，FA）**模块。FA 模块用于计算 SSSR 分支和 SISR 分支特征图之间的相似性，并将 SISR 分支的特征信息融合到 SSSR 分支中，从而进一步提高分割精度。

3. 实验结果

为了验证 DSRL 框架的有效性，我们在 Cityscapes 和 MS COCO 两个数据集上进行了实验。实验结果表明，DSRL 框架在保持高效推理速度的同时，能够显著提高语义分割的精度。

具体来说，与输入大小为 320×640 的 ESPNetv2 相比，使用较低分辨率的输入图像 256×512 的 DSRL 可以在同时获得 2.4% 的 mIoU 并减少 36% 的 FLOPs。

4. 结论

本文提出了一种新颖的双重超分辨率学习框架 DSRL，用于提高语义分割的精度和效率。DSRL 框架通过结合 SSSR 和 SISR 两个分支，并引入 FA 模块，实现了低分辨率图像的高精度语义分割。实验结果证明了 DSRL 框架的有效性和效率。

5. 未来工作

未来，我们将进一步探索 DSRL 框架在其他计算机视觉任务中的应用，例如目标检测、实例分割