Satellite remote sensing for monitoring the geophysical environment has developed rapidly in recent decades However earth observation is often constrained by the spatial and temporal resolutions of th

近几十年来，卫星遥感监测地球物理环境的能力得到了快速发展。然而，卫星图像的空间和时间分辨率往往限制了地球观测的范围。例如，Landsat卫星以中等空间分辨率（30米）捕获图像，但重访时间长达16天。考虑到云污染，只有65％的图像足够无云以用于地球观测[1]。因此，可用Landsat图像的时间分辨率相对较低。相比之下，中分辨率成像光谱仪（MODIS）可以提供每日图像，但空间分辨率较粗，为250米、500米和1公里。为了利用不同的数据获取能力，已经进行了许多研究来整合空间和时间分辨率，即空时融合[2,3,4,5,6,7,8,9,10,11,12]。通过高空间分辨率和高时间分辨率的整合，可以更好地利用不同卫星提供的信息，特别是对于需要频繁覆盖和高空间细节的应用，如白天反射率分析和24小时温度监测[13]。这些应用可以帮助环境建模和监测，并进一步协助城市规划决策[2]。

在现有的空时数据融合算法中，空间和时间自适应反射融合模型（STARFM）是第一个开发的模型[3]，并且已经广泛应用于监测环境变化[5,14]。STARFM最初设计用于融合Landsat（30米分辨率）和MODIS（500米分辨率）的反射数据。它使用一个已知的Landsat和MODIS图像对和一个预测日期的MODIS图像。STARFM假设对于一个纯粗像素，其中只存在一个地表类型，粗像素内的细像素的变化可以直接暗示为粗像素的变化。对于存在两个或多个地表类型的异质粗像素，使用加权函数进行预测，该函数将更高的权重分配给物理上更接近和光谱上相似的粗像素附近的细像素。随后，开发了几种算法来增强STARFM。例如，空间时间自适应映射反射变化算法（STARRCH）试图捕捉临时事件，但该算法需要更多的输入图像[5]。增强STARFM，即ESTARFM，通过应用线性光谱解混（LSU）理论[15]和转换系数的概念，改进了异质区域的融合结果[11]。为了融合Landsat TM和MODIS之间的地表温度（LST）以产生120米空间分辨率的每日LST产品，开发了适用于温度映射的空间时间自适应数据融合算法（SADFAT）[8]。然后，开发了结合极限学习机（ELM）算法和SADFAT的融合模型，以从Landsat ETM+ TIR和MODIS数据生成30米LST产品[2]。Zhu等人（2016）开发了灵活的空时数据融合（FSDAF）算法，使用一个已知的细和粗图像对来融合反射数据[12]。在FSDAF中，薄板样条（TPS）插值的中间结果用于辅助残差分布。因此，它应该具有捕捉土地覆盖变化和临时事件的能力。

另一个空时数据融合的研究领域是字典对学习[6,7]。基于稀疏表示的空时反射融合模型（SPSTEM）建立了细分辨率图像与相应粗分辨率图像之间的结构对应关系[6]。在SPSTEM中，首先使用两个已知日期的细分辨率和粗分辨率差异图像块训练两个字典，通过采用基于稀疏表示和稀疏编码的优化方程。然后，通过应用低分辨率图像块的相同稀疏表示系数，估计与预测日期相关的细分辨率差异图像块。后来，SPSTEM被修改为仅适用于空时数据融合的一个细和粗图像对。这是通过引入两层融合框架来实现的，该框架首先预测中分辨率的目标图像，然后是所需的细分辨率，以解决细分辨率和粗分辨率图像之间的大尺度差异问题[7]。为了解决稀疏表示中缺乏先验知识的缺点，如聚类和联合结构稀疏性[16]，提出了一种使用半耦合字典学习和结构稀疏性的空时数据融合优化模型。

最近，开发了一种使用深度卷积神经网络（CNNs）的空时数据融合模型[17]。构建了两个五层CNN，首先学习MODIS和低空间分辨率（LSR）Landsat图像之间的映射关系（第一个CNN），然后学习从LSR Landsat图像到具有原始分辨率的Landsat图像的超分辨率（第二个CNN）。该融合模型中包含了一个训练阶段和一个预测阶段。

尽管已经开发了几种关于空时数据融合的方法，但由于数据要求严格，仍然存在一些局限性。CNN融合算法需要大量数据来训练细分辨率和粗分辨率卫星图像之间的关系。一些融合算法[2,5,6,8,11]需要至少两对已知的细和粗图像，一个在预测日期之前，一个在预测日期之后。这个先决条件禁止了实时应用，例如基于地球同步卫星实时粗图像推导实时细分辨率卫星图像。在这种应用中，只有预测时间之前的图像是已知的，因此至少需要两个已知图像对的融合算法无法使用。尽管最近开发了只需要一个已知图像对的融合算法[3,7,12,16]，但它们依赖于细分辨率图像和粗分辨率图像之间的空间对应关系。这仅将融合模型限制在具有相同飞越时间的卫星平台上。然而，在实际应用中，卫星图像可能没有相同的飞越时间，因此这对问题构成了巨大的挑战。在本文中，开发了一种新的空时数据融合算法，即Hopfield神经网络空时数据融合模型（HNN-SPOT），它具有使用任意日期的一个细分辨率图像和预测日期的一个粗分辨率图像来预测预测日期的细分辨率图像的能力，使用Hopfield神经网络（HNN）中的优化概念。 HNN-SPOT的一个重要优点是它能够对不同飞越时间的跨越同一地理区域的卫星进行图像融合。该方法具有与现有方法不同的概念，因为HNN-SPOT通过利用已知日期上粗和细空间分辨率图像之间的空间关系，为预测日期的粗分辨率卫星导出合成细分辨率图像，而现有方法通过利用已知日期上粗和细分辨率卫星之间的空间关系在预测日期导出合成图像。这种新概念的差异在图1和图2中描述。