基于预训练深度学习模型的语义通信系统研究

最近，随着'深度学习'(DL)在'计算机视觉'(CV)和'自然语言处理'(NLP)领域的成功，'语义通信'(SemCom)取得了重大进展。尽管现有的语义通信框架可以显著提高传输效率和可靠性，但大多数现有的框架并没有充分利用CV领域中现有的强大DL模型。这促使我们开发一个利用现有的经过良好设计和训练的模型的语义通信系统。在本文中，我们利用了为CV任务提出并经过良好训练的基于Transformer的预训练模型，名为IPT，来建立我们用于图像传输的SemCom系统，记为'IPT'。实验结果表明，'IPT'可以在各种'信噪比'(SNR)条件下恢复高质量的图像，并且重建质量随着信道SNR的变化而优雅地退化。结果表明，利用强大的预训练深度学习模型构建语义通信系统是可行的。