基于深度信息模态幻觉的RGB物体检测

摘要

本文提出了一种新颖的模态幻觉架构，用于训练RGB物体检测模型，该模型在训练过程中整合了深度信息。我们的方法的核心是一个卷积幻觉网络，该网络学习一种新的、与RGB互补的图像表示。该网络被训练用于模仿从深度网络中提取的卷积中层特征。在测试阶段，RGB图像和由幻觉网络生成的图像被联合处理，以提高物体检测性能。

本质上，我们的方法将通常从深度训练数据中提取的信息迁移到一个能够从RGB对应物中提取信息的网络中。我们在标准NYUDv2数据集上评估了我们的方法，并观察到RGB物体检测任务的显著改进。

关键词: RGB物体检测，深度信息，模态幻觉，卷积神经网络，NYUDv2数据集