时空图像融合方法综述：基于重建、基于解混和基于学习

一般来说，当前的时空图像融合方法可以分为三类：基于重建、基于解混和基于学习。

在基于重建的融合算法中，空间和时间自适应反射融合模型（STARFM）是第一个开发的方法[18]。STARFM假设纯像素的反射率变化在粗糙和精细图像之间是一致的，因此通过加权求和策略将邻近像素组合起来，重建每日高空间分辨率的表面反射率图像。考虑到复杂的异质区域，朱等人[19]改进了STARFM，并开发了增强型STARFM（ESTARFM），其中涉及到不同的转换系数来修改邻近像素的权重，以区分均质区域和异质区域。沈等人[20]声称不同土地覆盖类型之间可能存在传感器观测差异，并使用先前的高空间分辨率分类图进行重建。王等人[21]也开发了一个操作性的时空融合框架，并集成了双向反射率分布函数校正、自动配准和自动选择输入数据对的思想，以提高融合精度。然而，这些算法假设土地覆盖类型在已知和预测日期之间保持不变，很少考虑景观干扰。因此，这些工作在表型变化区域可能会产生一些良好的结果，但对于类型变化区域的预测可能不太有效，因为这些土地覆盖类型的变化很难从输入数据中的相似像素中估计出来。

对于基于解混的模型，其核心思想是通过对可用的粗糙图像进行光谱解混来预测未知的高分辨率图像。Zhukov等人[22]首先提出了基于解混的多传感器多分辨率融合框架，用于整合不同时间获取的具有不同空间分辨率的卫星图像。融合过程通常包括以下两个步骤：1）对输入的粗糙图像进行光谱解混，2）通过根据解混结果替换输入的精细图像中的光谱信息来生成精细图像。Wu等人[23]修改了多传感器多分辨率技术，并通过考虑光谱解混中的非线性时态变化相似性和空间变化来开发了一种空间时间数据融合方法（STDFA）。Amorós-López等人[24]建议解出的端元反射应与滑动窗口中的预定义类光谱相似。因此，在解混过程中引入了一个衡量解混结果与预定义端元之间光谱距离的惩罚项。最近，朱等人[25]将基于解混方法与空间插值和STARFM的思想集成到一个框架中，提出了一种灵活的时空数据融合算法，称为FSDAF。然而，这些基于解混的算法通常存在端元数量错误估计、多时态观测中端元光谱变异性以及光谱混合非线性等问题[26]。此外，它们在估计土地类型变化区域中的像素方面仍然面临与基于重建模型相同的困难。

与前两组方法相比，基于学习的时空融合（LBF）模型不需要指定时态变化的类型，而是将高空间分辨率图像的预测视为一个监督的单图像超分辨率问题。基于示例的超分辨率的概念[27]，LBF旨在基于粗糙和精细图像对之间的空间结构相似性建立一个复杂的映射，然后使用相应的粗糙图像来预测未知的精细图像。在[28]–[30]中，应用了字典对训练到粗糙和精细图像对，并将它们的补丁投影到稀疏特征域中，强制线性映射系数之间的线性映射。刘等人[32]提出了局部正则化稀疏表示来缓解精细图像预测中的不稳定问题，主张邻近精细图像之间的系数应该是相似的。在[33]中，采用了极限学习机（ELM），一种单隐藏层前馈神经网络，来直接学习精细和粗糙图像之间的原始像素之间的映射。由于ELM的快速速度，可以以较少的计算复杂度预测精细图像。受[34]中的单图像超分辨率技术的启发，Song等人[35]采用深度卷积神经网络来捕捉粗糙图像中的大尺度空间信息，并利用它进行预测。此外，回归树[36]、随机森林[37]和人工神经网络[38]也在时空融合中得到了探索。