1.一种面向模态缺失的多模态癌症生物标志物预测方法,其特征在于,包括以下步骤:S1、获取患者的病理图像和MRI图像;
S2、对所述病理图像进行剪裁,提取所述MRI图像中的3D肿瘤块并进行数据增强处理;
S3、对所述病理图像进行特征提取,对所述MRI图像影像中的3D肿瘤块进行特征提取,得到多模态特征;
S4、对所述多模态特征进行特征增强和特征重构;
S5、将增强的多模态特征经过图融合网络进行融合,并输入至预设的生物标志物预测模型中进行预后评估;
所述步骤S4中对所述多模态特征进行特征增强的步骤具体包括:将所述多模态特征表示为X=(Xw,Xr),其中,Xw和Xr分别代表病理和影像特征,和表示缺失的病理和影像特征,m表示缺失的模态;
设计一维卷积来捕捉特征的全局信息和局部信息,病理和影像特征分别进行卷积得到Cw和Cr:式中,kalw,kalr分别表示病理和影像的卷积核,将每个模态放入卷积中以获得不同模态的特征信息;
利用模态内编码器分别提取三个模态内特征,包括模态内编码器对模态内信息进行编码,利用位置嵌入模块改进卷积序列并提取跨不同模态的特征,模态内特征提取的结果为:式中,f(·)表示位置嵌入的transformer编码器,Xw→w,Xr→r分别是病理、影像模态内提取得特征;
通过模态间transformer编码器处理模态对得到模态间特征,模态对表示该模态与另外两个模态之间的对应关系,从影像模态对中获取病理模态的模态间特征Xr→w:从影像模态对中获取的影像模态的模态间特征Xw→r:
其中,病理模态对为病理->影像(w->r),影像模态对为影像->病理(r->w);
将所有模态内和模态间编码器获得的潜在特征被连接起来作为增强序列特征输出,病理和影像的模态内和模态间特征被拼接为Uw和Ur:Uw=Concat([Xr→w,Xw→w]),Ur=Concat([Xw→r,Xr→r])将增强序列特征Uw和Ur输入到双模态transformer进行特征增强得到U'w和U'r:U′w=ftransformer(Uw,Uw,Uw),U′r=ftransformer(Ur,Ur,Ur);
对所述多模态特征进行特征重构的步骤具体包括:
利用注意力机制对缺失模态进行编码并学习特征间的关系,将重构结果映射到提取特征的维度上,特征重构的公式为:式中,attention(·)表示注意力机制,linear表示线性映射函数,Ew、Er分别表示病理和影像模态的重构特征。
2.根据权利要求1所述的面向模态缺失的多模态癌症生物标志物预测方法,其特征在于,所述步骤S2中对所述病理图像进行剪裁的步骤具体包括:采用基于阈值的分割算法对所述病理图像进行剪裁;
采用固定的窗口和步长对所述病理图像进行滑动,以生成不重叠的图像块;
采用特征拼接函数将剪裁后的图像和滑动处理后的图像块进行重构,生成整体热力图。
3.根据权利要求1所述的面向模态缺失的多模态癌症生物标志物预测方法,其特征在于,所述步骤S2中采用三维标注软件提取所述MRI图像中的3D肿瘤块,所述数据增强处理的步骤具体包括:根据参数最大丢失率,计算需要删除的像素数;
选择删除块的起始位置、宽度、高度和深度,该删除块为从图像中随机生成内容填充或选择其他图像块进行替换;
随机选择一个角度,旋转图像。
4.根据权利要求1所述的面向模态缺失的多模态癌症生物标志物预测方法,其特征在于,所述步骤S3中采用ResNet50模型对所述病理图像进行提取包括空间信息和局部特征的多层次病理特征。
5.根据权利要求4所述的面向模态缺失的多模态癌症生物标志物预测方法,其特征在于,所述ResNet50模型包含50层深度神经网络,通过基本的卷积块与残差连接的组合,特征提取的过程包含多个2D卷积层,后接Batch Normalization层和激活层,逐层下采样,通过使用步幅为2的卷积和最大池化操作,在不同层次进行特征抽取,每个残差块的输出与当前层的特征进行融合,通过跳跃连接传递来自前几层的信息,该ResNet50模型使用全局平均池化层替代全连接层提取空间不变的特征表示。
6.根据权利要求5所述的面向模态缺失的多模态癌症生物标志物预测方法,其特征在于,所述步骤S3中对所述MRI图像影像中的3D肿瘤区域进行特征提取的步骤具体包括:采用Swin Transformer模型结合mask encoder模型,对3D肿瘤区域的空间特征进行深度提取。
7.根据权利要求6所述的面向模态缺失的多模态癌症生物标志物预测方法,其特征在于,所述采用Swin Transformer模型结合mask encoder模型,对3D肿瘤区域的空间特征进行深度提取的步骤具体包括:将MRI图像输入到Vision Transformer架构的影像特征提取模块中,SwinTransformer模型对输入的MRI图像进行空间维度上的切片,并利用自注意力机制来捕捉图像中不同区域间的依赖关系,输出多个尺度下的特征图;
将MRI图像中提取的3D肿瘤块输入到掩码编码器,采用3D结构层,层之间使用了归一化和ReLU图像激活函数,得到标记肿瘤区域的空白码,将其编码为与SwinViT输出相同维度的特征,并通过插值其空间维度进行匹配;
将MRI图像特征和掩码特征进行相加融合。
8.根据权利要求1所述的面向模态缺失的多模态癌症生物标志物预测方法,其特征在于,所述步骤S5具体包括:将提取的两种模态特征使用图融合网络融合为一个整体特征向量U'=GFN(U'w,U'r),并将其输入到多层感知机网络中进行最终的预后预测;
其中,GFN由两个动态学习层组成,单峰和双峰动态学习层;
采用SmoothL1Loss函数来作为损失函数:
式中,和losscon分别表示病理特征、影像特征以及整体的重构损失,δw和δr是权重,使用二分类交叉熵损失作为分类损失函数losscls:losscls=-[y·log(p)+(1-y)log(1-p)]loss=θ1losscon+θ2losscls
其中,y是真实标签,假设取值为0或1,p是模型对1的预测概率,losscon是模态重建损失,losscls是癌症生物标志物预测分类损失,θ1和θ2分别表示重建损失和分类损失的权重参数;
通过损失函数,优化模型参数,获得生物标志物预测模型。