欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023105582864
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种用于脑部MRI图像的多模态融合轻量化分割网络,其特征在于,包括:

编码部分,包含四个独立的编码器,以分别对四个模态的原图进行特征提取,同时对不同的模态采取不同的注意力策略,其中每一个编码器都包含三层卷积模块,以通过卷积和池化层进行下采样;

特征融合部分,在特征层面对四个模态进行特征融合,融合时以不同的组合在不同的特征层,加入轻量化的模态注意力、空间注意力和通道注意力,其中四个编码器的第二层特征包含细节信息和高层语义,且该第二层特征在融合时采用了模态、通道、空间联合的注意力机制,其余两层特征在融合时只采用通道、空间联合注意力机制,以此来提高模型的分割精度;以及解码部分,采用卷积和上采样,用以恢复特征图的原始分辨率,所述上采样采用转置卷积来实现。

2.根据权利要求1所述的多模态融合轻量化分割网络,其特征在于:特征融合之前,增强序列所在的编码器的每一层均增加了通道注意力机制,以关注增强序列不同通道的权重。

3.根据权利要求1所述的多模态融合轻量化分割网络,其特征在于:在所述特征融合部分,四个编码器的同一层特征通过跳跃连接。

4.根据权利要求1所述的多模态融合轻量化分割网络,其特征在于:所述特征融合部分的核心组件是基于模态、通道、空间联合的轻量化注意力模块ACSMB,先后采用了通道注意力CA、空间注意力SA、模态注意力MA来分别计算通道,空间,模态的权重。

5.根据权利要求1所述的多模态融合轻量化分割网络,其特征在于:所述解码部分中,融合后的多模态特征通过同一个解码器,经过三层上采样的池化层解码输出,得到分割结果。

6.一种多模态融合轻量化分割网络的分割方法,应用于权利要求1-5中任一项所述的分割网络,其特征在于,主要包括以下步骤:S1:对输入的原始图像T1,T2,T1ce,Flair序列进行两个连续的3×3×3步长为1的卷积,生成分辨率与原始图像相等,通道数为16的第一特征图;

S2:对T1,T2,T1ce,Flair序列的第一特征图先进行步长为2的最大值池化,再通过两个连续的3×3×3的步长为1的卷积,获得分辨率为原始图像的1/2,通道数为32的第二特征图;

S3:对T1,T2,T1ce,Flair序列的第二特征图进行步长为2的最大值池化,再通过两个连续的3×3×3的步长为1的卷积,获得分辨率为原始图像的1/4,通道数为64的第三特征图;

S4:分别对T1,T2,T1ce,Flair序列的第三特征图进行两个连续的3×3×3的步长为1的卷积,生成分辨率为原始图像的1/8,通道数保持64不变的第四特征图;

S5:四个序列的第一特征图进行通道维度的特征拼接后,生成的通道数为64的特征图,通过一个通道空间联合注意力模块后,进行两个连续的3×3×3的步长为1的卷积,生成分辨率与原始图像相等,通道数为16的第五特征图;

S6:四个序列的第二特征图进行通道维度的特征拼接后,生成的通道数为128的特征图,通过一个轻量化自注意力模块后,进行两个连续的3×3×3的步长为1的卷积,生成分辨率为原始图像的1/2,通道数为32的第六特征图;

S7:四个序列的第三特征图进行通道维度的特征拼接后,生成的通道数为256的特征图,通过一个轻量化自注意力模块后,进行两个连续的3×3×3的步长为1的卷积,生成分辨率为原始图像的1/4,通道数为64的第七特征图;

S8:四个序列的第四特征图进行通道维度的特征拼接后,生成的通道数为256的特征图,通过两个连续的3×3×3的步长为1的卷积后,生成分辨率为原始图像的1/8,通道数128的第八特征图;

S9:将第八特征图通过一个3×3×3且步长为1的转置卷积后,生成分辨率为原始图像的1/4,通道数为64的第九特征图;

S10:将第九特征图和第七特征图进行通道维度的特征拼接后,生成通道数为128的特征图,再通过两个连续的3×3×3的步长为1的卷积,生成分辨率为原始图像的1/4,通道数为64的第十特征图;

S11:将第十特征图通过一个3×3×3且步长为1的转置卷积后,生成一个分辨率为原始图像的1/2,通道数为32的第十一特征图;

S12:将第十一特征图和第六特征图进行通道维度的特征拼接后,生成通道数为64的特征图,再通过两个连续的3×3×3的步长为1的卷积,生成一个分辨率为原始图像的1/2,通道数为32的第十二特征图;

S13:将第十二特征图通过一个3×3×3且步长为1的转置卷积后,生成一个分辨率与原始图像相等,通道数为16的第十三特征图;

S14:将第十三特征图和第五特征图进行通道维度的特征拼接后,生成通道数为32的特征图,通过两个连续的3×3×3的步长为1的卷积,生成一个分辨率与原始图像相等,通道数为16的第十四特征图,即为分割结果图。

7.根据权利要求6所述的分割方法,其特征在于,所述步骤S1具体包括:

S11:对输入的原始图像T1序列进行两个连续的3×3×3步长为1的卷积,生成分辨率与原始图像相等,通道数为16的第一特征图;

S12:对输入的原始图像T2序列进行两个连续的3×3×3步长为1的卷积,生成分辨率与原始图像相等,通道数为16的第一特征图;

S13:对输入的原始图像T1ce序列进行两个连续的3×3×3步长为1的卷积,再通过通道注意力模块,生成分辨率与原始图像相等,通道数为16的第一特征图;

S14:对输入的原始图像Flair序列进行两个连续的3×3×3步长为1的卷积,生成分辨率与原始图像相等,通道数为16的第一特征图。

8.根据权利要求6所述的分割方法,其特征在于,所述步骤S2具体包括:

S21:对T1序列的第一特征图先进行步长为2的最大值池化,再通过两个连续的3×3×3的步长为1的卷积,获得分辨率为原始图像的1/2,通道数为32的第二特征图;

S22:对T2序列的第一特征图先进行步长为2的最大值池化,再通过两个连续的3×3×3的步长为1的卷积,获得分辨率为原始图像的1/2,通道数为32的第二特征图;

S23:对T1ce序列的第一特征图先进行步长为2的最大值池化,以及两个连续的3×3×3的步长为1的卷积,再通过通道注意力模块,获得分辨率为原始图像的1/2,通道数为32的第二特征图;

S24:对Flair序列的第一特征图先进行步长为2的最大值池化,再通过两个连续的3×3×3的步长为1的卷积,获得分辨率为原始图像的1/2,通道数为32的第二特征图。

9.根据权利要求6所述的分割方法,其特征在于,所述步骤S3具体包括:

S31:对T1序列的第二特征图进行步长为2的最大值池化,再通过两个连续的3×3×3的步长为1的卷积,获得分辨率为原始图像的1/4,通道数为64的第三特征图;

S32:对T2序列的第二特征图先进行步长为2的最大值池化,再通过两个连续的3×3×3的步长为1的卷积,获得分辨率为原始图像的1/4,通道数为64的第三特征图;

S33:对T1ce序列的第二特征图先进行步长为2的最大值池化,以及两个连续的3×3×3的步长为1的卷积,再通过通道注意力模块,获得分辨率为原始图像的1/4,通道数为64的第三特征图;

S34:对Flair序列的第二特征图进行步长为2的最大值池化,再通过两个连续的3×3×3的步长为1的卷积,获得分辨率为原始图像的1/4,通道数为64的第三特征图。