1.一种用于脑部MRI图像的多模态融合轻量化分割网络,其特征在于,包括:
编码部分,包含四个独立的编码器,以分别对四个模态的原图进行特征提取,同时对不同的模态采取不同的注意力策略,其中每一个编码器都包含三层卷积模块,以通过卷积和池化层进行下采样;
特征融合部分,在特征层面对四个模态进行特征融合,融合时以不同的组合在不同的特征层,加入轻量化的模态注意力、空间注意力和通道注意力,其中四个编码器的第二层特征包含细节信息和高层语义,且该第二层特征在融合时采用了模态、通道、空间联合的注意力机制,其余两层特征在融合时只采用通道、空间联合注意力机制,以此来提高模型的分割精度;以及解码部分,采用卷积和上采样,用以恢复特征图的原始分辨率,所述上采样采用转置卷积来实现。
2.根据权利要求1所述的多模态融合轻量化分割网络,其特征在于:特征融合之前,增强序列所在的编码器的每一层均增加了通道注意力机制,以关注增强序列不同通道的权重。
3.根据权利要求1所述的多模态融合轻量化分割网络,其特征在于:在所述特征融合部分,四个编码器的同一层特征通过跳跃连接。
4.根据权利要求1所述的多模态融合轻量化分割网络,其特征在于:所述特征融合部分的核心组件是基于模态、通道、空间联合的轻量化注意力模块ACSMB,先后采用了通道注意力CA、空间注意力SA、模态注意力MA来分别计算通道,空间,模态的权重。
5.根据权利要求1所述的多模态融合轻量化分割网络,其特征在于:所述解码部分中,融合后的多模态特征通过同一个解码器,经过三层上采样的池化层解码输出,得到分割结果。
6.一种多模态融合轻量化分割网络的分割方法,应用于权利要求1-5中任一项所述的分割网络,其特征在于,主要包括以下步骤:S1:对输入的原始图像T1,T2,T1ce,Flair序列进行两个连续的3×3×3步长为1的卷积,生成分辨率与原始图像相等,通道数为16的第一特征图;
S2:对T1,T2,T1ce,Flair序列的第一特征图先进行步长为2的最大值池化,再通过两个连续的3×3×3的步长为1的卷积,获得分辨率为原始图像的1/2,通道数为32的第二特征图;
S3:对T1,T2,T1ce,Flair序列的第二特征图进行步长为2的最大值池化,再通过两个连续的3×3×3的步长为1的卷积,获得分辨率为原始图像的1/4,通道数为64的第三特征图;
S4:分别对T1,T2,T1ce,Flair序列的第三特征图进行两个连续的3×3×3的步长为1的卷积,生成分辨率为原始图像的1/8,通道数保持64不变的第四特征图;
S5:四个序列的第一特征图进行通道维度的特征拼接后,生成的通道数为64的特征图,通过一个通道空间联合注意力模块后,进行两个连续的3×3×3的步长为1的卷积,生成分辨率与原始图像相等,通道数为16的第五特征图;
S6:四个序列的第二特征图进行通道维度的特征拼接后,生成的通道数为128的特征图,通过一个轻量化自注意力模块后,进行两个连续的3×3×3的步长为1的卷积,生成分辨率为原始图像的1/2,通道数为32的第六特征图;
S7:四个序列的第三特征图进行通道维度的特征拼接后,生成的通道数为256的特征图,通过一个轻量化自注意力模块后,进行两个连续的3×3×3的步长为1的卷积,生成分辨率为原始图像的1/4,通道数为64的第七特征图;
S8:四个序列的第四特征图进行通道维度的特征拼接后,生成的通道数为256的特征图,通过两个连续的3×3×3的步长为1的卷积后,生成分辨率为原始图像的1/8,通道数128的第八特征图;
S9:将第八特征图通过一个3×3×3且步长为1的转置卷积后,生成分辨率为原始图像的1/4,通道数为64的第九特征图;
S10:将第九特征图和第七特征图进行通道维度的特征拼接后,生成通道数为128的特征图,再通过两个连续的3×3×3的步长为1的卷积,生成分辨率为原始图像的1/4,通道数为64的第十特征图;
S11:将第十特征图通过一个3×3×3且步长为1的转置卷积后,生成一个分辨率为原始图像的1/2,通道数为32的第十一特征图;
S12:将第十一特征图和第六特征图进行通道维度的特征拼接后,生成通道数为64的特征图,再通过两个连续的3×3×3的步长为1的卷积,生成一个分辨率为原始图像的1/2,通道数为32的第十二特征图;
S13:将第十二特征图通过一个3×3×3且步长为1的转置卷积后,生成一个分辨率与原始图像相等,通道数为16的第十三特征图;
S14:将第十三特征图和第五特征图进行通道维度的特征拼接后,生成通道数为32的特征图,通过两个连续的3×3×3的步长为1的卷积,生成一个分辨率与原始图像相等,通道数为16的第十四特征图,即为分割结果图。
7.根据权利要求6所述的分割方法,其特征在于,所述步骤S1具体包括:
S11:对输入的原始图像T1序列进行两个连续的3×3×3步长为1的卷积,生成分辨率与原始图像相等,通道数为16的第一特征图;
S12:对输入的原始图像T2序列进行两个连续的3×3×3步长为1的卷积,生成分辨率与原始图像相等,通道数为16的第一特征图;
S13:对输入的原始图像T1ce序列进行两个连续的3×3×3步长为1的卷积,再通过通道注意力模块,生成分辨率与原始图像相等,通道数为16的第一特征图;
S14:对输入的原始图像Flair序列进行两个连续的3×3×3步长为1的卷积,生成分辨率与原始图像相等,通道数为16的第一特征图。
8.根据权利要求6所述的分割方法,其特征在于,所述步骤S2具体包括:
S21:对T1序列的第一特征图先进行步长为2的最大值池化,再通过两个连续的3×3×3的步长为1的卷积,获得分辨率为原始图像的1/2,通道数为32的第二特征图;
S22:对T2序列的第一特征图先进行步长为2的最大值池化,再通过两个连续的3×3×3的步长为1的卷积,获得分辨率为原始图像的1/2,通道数为32的第二特征图;
S23:对T1ce序列的第一特征图先进行步长为2的最大值池化,以及两个连续的3×3×3的步长为1的卷积,再通过通道注意力模块,获得分辨率为原始图像的1/2,通道数为32的第二特征图;
S24:对Flair序列的第一特征图先进行步长为2的最大值池化,再通过两个连续的3×3×3的步长为1的卷积,获得分辨率为原始图像的1/2,通道数为32的第二特征图。
9.根据权利要求6所述的分割方法,其特征在于,所述步骤S3具体包括:
S31:对T1序列的第二特征图进行步长为2的最大值池化,再通过两个连续的3×3×3的步长为1的卷积,获得分辨率为原始图像的1/4,通道数为64的第三特征图;
S32:对T2序列的第二特征图先进行步长为2的最大值池化,再通过两个连续的3×3×3的步长为1的卷积,获得分辨率为原始图像的1/4,通道数为64的第三特征图;
S33:对T1ce序列的第二特征图先进行步长为2的最大值池化,以及两个连续的3×3×3的步长为1的卷积,再通过通道注意力模块,获得分辨率为原始图像的1/4,通道数为64的第三特征图;
S34:对Flair序列的第二特征图进行步长为2的最大值池化,再通过两个连续的3×3×3的步长为1的卷积,获得分辨率为原始图像的1/4,通道数为64的第三特征图。