时空图像融合中的双流卷积神经网络：利用时间依赖性以提高精度

从上述分析中可以看出，近年来学习模型在超分辨率技术中得到了广泛应用，相关的超分辨率技术也显著提升了LBF的性能。然而，值得注意的是，时空图像融合与经典的自然图像超分辨率仍然是不同的任务，将时空融合视为一个单一的自然图像超分辨率问题也面临一些巨大的挑战。\n\n首先，在时空融合中，放大倍数（通常在8到16之间）要比超分辨率（通常在2到4之间）大得多。在这种情况下，纹理细节在粗糙图像中已经严重模糊和失真，而有限的先验结构信息可能无法用于精细图像预测。此外，众所周知，与自然图像相比，遥感图像包含更复杂的异质区域，纹理细节丰富，这进一步增加了精细图像预测的难度。因此，仅从空间结构相似性中学习映射函数是一个严重的逆问题，并且先前学习模型中精细图像和粗糙图像之间的关系可能不是有效的。因此，我们无法仅从相应的粗糙图像准确地预测出精细图像，如图1所示。\n\n为了解决这个问题，在本文中，我们开发了一个专门用于时空图像融合的双流卷积神经网络。与传统的基于学习的方法不同，该方法不仅仅从相应的粗糙图像中估计出精细图像，还利用精细图像序列中的时间信息作为缓解时空融合问题的病态性的强先验。结果，可以生成更合理的图案，如图1(c)所示。我们将提出的学习架构称为时空融合网络或StfNet。\n\n这项工作的创新之处有两点。\n1）与传统的基于学习的方法不同，提出的StfNet结合了相邻的精细图像，并利用时间依赖性（TD）来预测未知的精细差异图像。通过这种方式，我们的映射模型不需要仅通过严重模糊的粗糙图像恢复精细差异图像。相反，它可以访问具有丰富纹理细节的相邻精细图像，并学习将这些组件转移到精细差异图像中，从而产生更合理的图像模式。\n\n2）与独立估计每个输出精细图像不同，我们的网络通过在网络学习过程中建立时间约束来建模时间序列图像之间的时间关系。这个时间约束旨在保证从前向和后向日期预测的最终目标精细图像的唯一性，并鼓励时序一致的预测，从而得到更准确的最终融合结果。