社交媒体多模态分类模型研究：基于紧凑双线性池化和门控多模态单元

随着互联网技术的飞速发展，社交媒体领域出现了越来越多的多模态数据。这些多模态数据包含文本、图像和视频等大量有用信息，在情感分析、个性化推荐和舆情监控等方面都具有极其重要的作用。不论是在工业界还是在学术界，多模态领域都受到了前所未有的关注。本文的研究主题是社交媒体领域的图文多模态分类问题，从张量特征融合和神经网络特征融合两个角度出发，提出了两种新颖的多模态分类模型。

第一：针对基于向量拼接的多模态分类模型的低效性、多模态分类模型忽略单模态信息等问题，本文提出了一种基于紧凑双线性池化和多重损失的多模态分类模型。该模型使用紧凑双线性池化进行高效的多模态特征融合，在模型的训练阶段引入多重损失函数，加强模型对单模态信息的处理，相比现有的多模态分类模型，本文提出的多模态分类模型具有更好的性能表现和更小的模型参数量。

第二：针对预训练模型的多层次编码信息利用不充分、多模态融合模块复杂度高等问题，本文提出了一种基于门控多模态单元和多层次编码的多模态分类模型。该模型对数据的多模态信息和多层次信息进行联合建模，使用先进的预训练模型进行单模态特征提取，并保存特征的多层次编码信息，且基于门控多模态单元分别构建了多模态特征融合模块和多层次特征融合模块，分别进行模态间和层次间的特征融合，获得高质量、更全面的多模态特征表示。

在两个公开数据集Twitter-15和Twitter-17上，与现有的先进的多模态分类模型进行了充分的对比实验以及核心模块的消融实验。实验结果表明，本文提出的两种多模态分类模型在各项性能指标上均有明显提升，证明了模型在多模态分类任务上的有效性。在私有数据集AIFUN上，与多个多模态分类模型的对比实验结果也证明了本文提出的多模态分类模型的有效性和实用性。