本实施例以静态第五天或第六天的囊胚图像及其内细胞团相对应的等级文本为例来举例说明此种胚胎质量评估方法本论文使用了一个未公开的人类囊胚数据集该数据集包含395个显微镜下囊胚静态RGB图像无年龄或其他生理指标选择性。囊胚图像是在体外授精后115-120 小时第5天或135-140小时第6天时通过标准倒置光学显微镜系统型号：Nikon Eclipse Ti -U拍摄的这些图像可包含不同的视角、缩放比例、

本实施例介绍了一种基于多模态的囊胚质量评估方法，该方法结合了图像和文本信息，以更全面、准确地评估囊胚质量。本方法使用了一个未公开的人类囊胚数据集，该数据集包含395个显微镜下囊胚静态RGB图像。囊胚图像是在体外授精后115-120 小时（第5天）或135-140小时（第6天）时通过标准倒置光学显微镜系统拍摄的，这些图像可包含不同的视角、缩放比例、颜色、对比度等方面的差异。

为了多模态网络有更好的囊胚质量评估性能，本专利使用Adam优化器对模型进行了300次迭代训练，并应用早停策略以避免模型过拟合。此外，批量大小为32，图像编码器学习率是7.5e-6，文本编码器学习率是7.5e-7，温度系数分别为1.0。

本方法基于Gardner评分系统和Time-lapse系统中的文本描述新设计了囊胚内细胞团的文本标签代替传统的字母评级。这些文本标签可以提供更多的信息来帮助评估囊胚质量。通过将图像数据和文本标签结合起来，本论文成功构建了基于图像-文本的多模态模型来更全面、准确地评估囊胚质量。

基于多模态的表示学习网络的主体结构是一个双流网络，包括图像流和文本流。图像流和文本流分别提取囊胚图像和囊胚内细胞团等级文本描述的特征表示。在训练阶段，网络在同一个多模态特征空间中学习图像表示和文本表示。在验证阶段，通过计算经过训练的查询图像表示和候选文本表示之间的相似度，检索出具有最大图像-文本相似度的相应文本。

为了验证模型的有效性，模型性能通过准确率、精准率、召回率和F1-score四个指标评估模型的性能。在所有的实验中，本专利进行了5折交叉验证，以增加模型的鲁棒性。与单模态网络相比，囊胚的文本描述中囊括了更多的语义信息。此外，实验结果证明了所提出的多模态方法的有效性。

本发明还逐字评估文本的效果，通过计算每个单词和补丁图像嵌入之间的相似度。结果表明，模型可以利用囊胚的文本信息来进行更准确的囊胚评估，尤其在预测A和C方面取得了最佳性能。

总之，本实施例提出了一种基于多模态的囊胚质量评估方法，该方法结合了图像和文本信息，以更全面、准确地评估囊胚质量。该方法可以为临床胚胎学家提供更准确的囊胚评估，有望在生殖医学领域得到广泛应用。