下面结合附图对本申请作进一步描述。以下实施例仅用于更加清楚地说明本发明 的技术方案而不能以此来限制本申请的保护范围。一般来说模态是指事物发生或存在的方式多模态是指两个或者两个以上的模 态的各种形式的组合。对每一种信息的来源或者形式都可以称为一种模态目前研究领域 中主要是对图像文本语音三种模态的处理。之所以要对模态进行融合是因为不同模态 的表现方式不一样看待事物的角度也会不一样如果能合理的处理多模态

图1展示了本申请中提到的多模态融合的框架图。在该框架中，输入数据包括CT影像、临床信息和基因数据。针对不同的数据模态，本申请提出了不同的预处理方法，如对于CT影像，采用了图像增强和标准化的方法；对于临床信息，采用了特征提取和标准化的方法；对于基因数据，采用了基因表达量矩阵的方法。

接着，本申请采用了记忆融合网络来进行多模态融合。记忆融合网络是一种可以同时捕捉时序上和模态间的交互的网络结构，它能够将不同模态的信息进行融合，并生成更加丰富的特征信息。在本申请中，记忆融合网络的输入包括三个部分，即CT影像、临床信息和基因数据。在网络中，不同的模态信息通过不同的分支进行处理，并通过记忆单元进行交互。最终，记忆融合网络输出的特征向量被送入多层感知机进行分类，得到术后癌症预测结果。

总的来说，本申请提出了一种基于记忆融合网络的多模态融合方法，利用CT影像、临床信息和基因数据进行术后癌症预测。该方法能够提高预测准确性，避免患者进行活体组织采集病理切片的痛苦，具有广泛的应用前景。