基于硬负样本挖掘的地理定位模型Sample4Geo

摘要： 地理定位旨在建立地面图像与地理坐标之间的映射关系，近年来受到越来越多的关注。本文介绍了一种名为Sample4Geo的地理定位模型框架，该框架采用简洁的设计，避免了复杂的聚合模块或预处理步骤。Sample4Geo的核心在于其硬负样本挖掘策略，该策略基于卫星图像间的地理距离和街景图像与卫星图像嵌入之间的余弦相似性来选择信息量丰富的负样本。此外，模型采用具有对称性的InfoNCE损失函数 (Alec et al., 2021) 进行训练，以进一步提高模型性能。实验结果表明，Sample4Geo在CVUSA、CVACT、University-1652和VIGOR等常用地理定位数据集上均取得了优异的性能，证明了其有效性。

关键词： 地理定位，跨模态检索，硬负样本挖掘，InfoNCE损失，Sample4Geo

1. 引言

地理定位是计算机视觉和遥感领域的一项重要任务，其目标是将地面图像与地理坐标相关联。近年来，深度学习的兴起极大地推动了地理定位技术的发展。然而，现有的地理定位模型往往依赖于复杂的聚合模块或预处理步骤，增加了模型的复杂性和计算成本。

为了解决这个问题，Deuser等人 (2023) 提出了Sample4Geo模型框架，该框架采用简洁的设计，不涉及特殊的聚合模块或复杂的预处理步骤。Sample4Geo的关键在于其硬负样本挖掘策略，该策略通过选择信息量丰富的负样本，有效地提高了模型的判别能力。

2. Sample4Geo模型框架

Sample4Geo模型框架的核心思想是通过基于地理距离和嵌入相似性的硬负样本挖掘策略来增强模型训练。具体而言，该框架采用以下两种采样策略来获取硬负样本：

基于地理距离的采样： 选择与锚点图像在地理位置上接近但语义不同的卫星图像作为硬负样本。* 基于嵌入相似性的采样： 计算街景图像和卫星图像嵌入之间的余弦相似性，并选择相似性较高但地理位置不同的图像对作为硬负样本。

在训练过程中，将硬负样本添加到训练集中，并使用具有对称性的InfoNCE损失函数 (Alec et al., 2021) 对模型进行训练。InfoNCE损失函数鼓励模型将正样本对的嵌入拉近，并将负样本对的嵌入推远，从而有效地提高模型的判别能力。

3. 实验结果

为了评估Sample4Geo的性能，Deuser等人 (2023) 在CVUSA、CVACT、University-1652和VIGOR等常用地理定位数据集上进行了实验。实验结果表明，Sample4Geo在所有数据集上均取得了优异的性能，超过了现有的其他地理定位模型。

4. 结论

本文介绍了Sample4Geo模型框架，该框架采用硬负样本挖掘策略和对称性InfoNCE损失函数来提高地理定位模型的性能。实验结果表明，Sample4Geo在多个常用数据集上均取得了优异的性能，证明了其有效性。未来，Sample4Geo可以扩展到其他相关领域，例如图像检索和目标定