视频质量评估(VQA)模型概述:经典模型和最新进展
除了空间伪影之外,视频压缩中引入的时间伪影,如闪烁、抖动和漂浮,应在VQA中考虑。VQM和MOVIE是两个经典的VQA。在VQM[77]中,计算了空间信息丢失、色度扩散、空间增益、时间损伤和局部颜色损伤以及边缘偏移等七个关键特征,并用经验加权求和融合。在MOVIE[82]中,参考和失真的视频被多个Gabor滤波器分解,并用空间和时域的Gabor系数差异测量质量退化。最后,两种退化被乘法融合。在[73]中,使用log-Gabor滤波器提取HDR视频中子带失真的质量特征。在[37]中,通过考虑基于低通滤波器的对比度灵敏度、视觉注意力和基于时空随机性的掩蔽效应,开发了感知加权MSE度量。Li等人[58]提出了一种实用的视频流感知VQA,命名为Video Multi-method评估Fusion(VMAF)。通过学习支持向量机(SVM)模型,它融合了四个现有指标的分数,包括抗噪声信噪比(AN-SNR)、细节损失测量(DLM)、视觉信息保真度(VIF)和平均协同定位像素差(MCPD)。然而,VMAF使用平均帧差作为唯一的时间特征,它与视频内容而不是时间失真高度相关。为了处理这个问题,Bampis等人[3]提出了一种时空VMAF(ST-VMAF),通过考虑时间掩蔽来测量时间失真。它对帧差异的带通滤波映射进行建模,并使用熵差异来预测视频质量。此外,通过聚合常规VMAF[58]和增强的ST-VMAF,提出了一种集成VMAF(E-VMAF)方案。Kim等人[106]使用CNN为每个帧提取时空视觉特征,这些特征与卷积神经聚合网络(CNAN)进行时间池化。[113]提出了一种基于3D-CNN的VQA模型,称为C3DVQA,它由双流2D卷积层组成,用于从失真和残差帧中学习空间特征,3D卷积层学习时空特征,回归层预测视觉质量。
总结一下这段话内容:这段话主要介绍了一些视频质量评估(VQA)模型,包括经典的VQM和MOVIE,以及一些新的模型,如VMAF、ST-VMAF、E-VMAF、C3DVQA等。这些模型考虑了视频压缩中的空间伪影和时间伪影等不同特征,并使用不同的方法来测量视频质量。其中一些模型使用了CNN等深度学习方法来提取时空视觉特征。
原文地址: https://www.cveoy.top/t/topic/ocrp 著作权归作者所有。请勿转载和采集!