The second group attacks the same problem by using spectral unmixing techniques to calculatethe end member fraction of mixed ground materials and replacing the corresponding componentsof HTLS at predi

第二组通过使用光谱分解技术来计算混合地面材料的端元分数，并根据从另一个给定时间的LTHS中得出的非混合光谱信息替换HTLS的相应成分来攻击同样的问题。典型的例子是基于非混合数据融合（UBDF）方法[20]、灵活的时空数据融合（FSDAF）方法[21]和空间吸引模型（SAM）[22]。学习方法在最近几年中取得了显著的发展。它们的方法利用稀疏表示或机器学习技术从大量数据中提取一些抽象特征，然后利用提取的特征重构预测数据。稀疏表示数据融合的主要思想是基于HTLS和LTHS数据对共享相同的稀疏系数的工作假设。通过从HTLS和LTHS数据对中联合学习稀疏字典，可以通过稀疏编码算法将HTLS图像重构为高空间分辨率图像。典型的例子是基于稀疏表示的时空反射融合模型（SPSTFM）[23]。学习方法受到越来越多的关注，并且预计比传统方法表现更好，因为它们可以从先前数据中获得更多的信息。

一般来说，成功的融合算法的关键因素通常在于活动水平测量和融合规则的设计[24]。活动水平测量量化原始图像中包含的信息质量[25]，融合规则描述了识别信息的过程。手工设计的活动水平测量和融合规则通常是基于某些数学或物理理论的。然而，实际数据通常受到错误和噪声的污染，并且不符合理论理想。尽管大多数算法在一些具有很高质量或具有某些特定特征的数据或某些地理区域中表现良好，但它们可能在其他数据和其他区域中失败。然而，在实践中，很难获得没有云或冰覆盖的特定感兴趣区域的足够数据，因此传统算法的结果变得不太准确。此外，在特定时间段的某些区域中，一旦滤除了云覆盖的数据，剩下的很少有LTHS数据。这只能选择扩大参考数据和预测数据之间的时间跨度。不幸的是，这会产生非常不可靠的输出。此外，传统方法逐对、逐像素地处理数据，每个图像对需要很长时间才能产生输出。在需要长时间序列数据的实际情况下，这种处理变得非常耗时。相反，学习方法在训练过程中需要时间，但在预测阶段花费的时间要少得多。

在本文中，通过深度学习方法解决了传统方法所面临的问题，找到了HTLS和LTHS图像之间的直接非线性映射关系。深度学习是机器学习技术中的一个新分支，继承和扩展了经典人工神经网络原理，通过更多的隐藏处理层自动学习数据的特征和关系[26, 27]。它广泛应用于计算机视觉、自然语言处理、金融等领域，并在许多领域取得了最先进的结果。近年来，卷积神经网络（CNN）在语音识别和视觉对象识别和检测中的广泛应用尤其引起了重要关注[28-30]。我们的方法的新颖之处在于，通过集成卷积和反卷积层构建了一个深度卷积时空融合网络（DCSTFN），以提高融合的准确性和鲁棒性，与传统算法相比。活动水平测量和融合规则实际上是从实际数据集中学习到的，并由每层中的权重表示。在我们的实验中，将Landsat 8操作地表成像仪（OLI）和MODIS表面反射图像输入模型中以证明其有效性。结果表明，所提出的DCSTFN方法优于传统融合方法。所提出的基于CNN的方法的另一个重要方面是其通用性，这意味着它可以应用于各种数据源，并具有足够的鲁棒性来处理输入数据的质量变化。

本文的其余部分组织如下。第2节介绍了所提出的DCSTFN模型的整体架构。第3节描述了实验细节并与其他经典融合方法进行了比较。讨论和结论在第4节中呈现。