尽管VQA(视觉质量评估)是一个研究多年的开放性问题,但仍然存在许多具有挑战性的问题和未解决的问题。首先,许多IQA/VQA模型是基于特定应用中的一些视觉特性和特性开发的。虽然SSIM和VMAF经常用于测量压缩视频的质量,但仍然没有像PSNR那样被普遍认可和广泛使用的感知视觉质量模型。

其次,视觉质量数据库应建立在可控环境下的主观测试基础上,用数十名人类受试者对大量失真的视觉内容进行评分非常费力。因此,可用数据集规模较小。由于它们不能融合成一个大的数据集,这导致数据集的不同属性和评估现有VQA模型的不一致。压缩失真的大数据集需求很高。

第三,以前的VQA大多来自对感知因素的建模,如图7(a)所示,称为基于感知的VQA方案,如SSIM和MOVIE。然而,有效的特征提取和特征融合是模型准确性的关键。最近,随着学习方案被用于改进特征提取和融合模型,开发了许多基于学习的VQA方案,如图7(b)所示。由于为IQA提取有效特征具有挑战性,因此使用基于学习的表示,例如稀疏表示[128,134],奇异向量分解(SVD)[68]和tucker分解[141],以更有效地表示质量特征。此外,端到端深度IQA/VQA[24,48,106,113]能够同时学习特征表示和融合。然而,它们需要在训练中具有标记主观质量的大规模数据集,这既费力又昂贵。深度IQA/VQA模型的通用性和可解释性将得到提高。

最后,根据公式(1),感知V实际上受到因素FHVS、FD、FE、FR和P的影响。因此,VQA模型是FD、FE、FR和P的条件函数。提高模型的适应性并将模型从一个条件转移到另一个条件是很重要的。

总结一下这段话内容:尽管VQA已经被研究多年,但仍然存在许多具有挑战性的问题和未解决的问题。其中包括IQA/VQA模型是基于特定应用中的一些视觉特性和特性开发的,视觉质量数据库的规模较小且评估现有VQA模型的不一致,以前的VQA大多来自对感知因素的建模,但随着学习方案的应用,开发了许多基于学习的VQA方案。最后,提高模型的适应性并将模型从一个条件转移到另一个条件是很重要的。

VQA研究现状:挑战与未来方向

原文地址: https://www.cveoy.top/t/topic/ocrr 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录