1.一种基于卷积神经网络多模态融合的淋巴瘤病灶分割方法,其特征在于:所述方法包括如下步骤:步骤1.构建包含特征融合模块的双分支卷积神经网络模型;
步骤2.将PET和CT图像分别输入到卷积神经网络的PET分支和CT分支,获取中间特征图,过程如下;
2.步骤1、将PET和CT图像分别输入到PET分支和CT分支,经PET分支第一个卷积组,生成中间特征图pet1,经CT分支第一个卷积组,生成中间特征图ct1,公式如下;
pet1=fpet_0(pet0)ct1=fct_0(ct0)
式中,pet1和ct1分别代表经卷积后生成的PET和CT中间特征图,fpet_0和fct_0分别代表PET和CT分支第一个卷积组操作,pet0和ct0分别代表输入的原始PET和CT图像;
步骤2、将中间特征图peti和cti分别进行2倍下采样,得到peti′和cti′,再将peti′和cti′分别输入到PET和CT分支的第i+1个卷积组,得到各自的中间特征图peti+1和,公式如下:peti′=Dpet_i(peti)cti′=Dct_i(cti)
peti+1=fpet_i(peti′)cti+1=fct_i(cti′)式中,peti和cti分别代表PET和CT分支的上一个卷积组生成的中间特征图,Dpet_i和Dct_i分别代表PET和CT分支的下采样操作,peti′和cti′分别代表经下采样后的中间特征图,fpet_i和fct_i分别代表PET和CT分支的第i+1个卷积组,peti+1和cti+1分别代表经PET和CT分支第i+1个卷积组生成的中间特征图,i=1,2,......,5;
步骤3.将具有相同大小和通道数的PET和CT中间特征图经concatenate后输入到融合模块,得到融合特征图,过程如下:
3.步骤1、将petj和ctj按通道维concatenate后得到Mid_fj输入特征融合模块,公式如下:Mid_fj=C(petj,ctj)
式中,Mid_fj代表临时特征图,C代表concatenate操作,petj和ctj分别代表第j个PET和CT分支的中间特征图,j=1,2,......,5;
步骤2、将Mid_fj重新拆分为petj和ctj,并各自按通道维拆分成一半得到petj_0和ctj_0,petj_1和ctj_1,j=1,2,......,5,再将petj_0和ctj_0按通道维concatenate后,经融合卷积得到中间融合特征图Mix_fj,公式如下;
Mix_fj=Fj_0(C(petj_0,ctj_0))
式中,Mix_fj代表中间融合特征图,Fj_0代表融合卷积操作,C代表concatenate操作,petj_0和ctj_0分别代表第j个PET和CT分支中间特征图的前一半,j=1,2,......,5;
步骤3、再将Mix_fj和petj_1和ctj_1按通道维concatenate后,经卷积得到融合特征图Mixed_fj,公式如下;
Mixed_fj=Fj_1(C(Mix_fj,petj_1,ctj_1))式中,Mixed_fj代表融合后特征图,Fj_1代表融合卷积操作,C代表concatenate操作,petj_1和ctj_1分别代表第j个PET和CT分支中间特征图的后一半,j=1,2,......,5;
步骤4.将融合后的特征图输入到对应解码器层,进行分割预测。