欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022105730221
申请人: 南昌航空大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于掩码注意力机制的脑肿瘤MRI图像分割方法,其特征在于,该方法包括以下步骤:

S1:基于标准的Swin Transformer模块构建一个3D Masked Swin Transformer模块;

所述3D Masked Swin Transformer模块由3D Masked Swin Transformer模块A和3DMasked Swin Transformer模块B组成;

所述3D Masked Swin Transformer模块A由第一Layer Normalization层、3D Windowbased Multi-head Masked Self Attention层、第二Layer Normalization层和第一Multi-Layer Perceptron层依次连接组成,其中在第一Layer Normalization层的输入端和3D Window based Multi-head Masked Self Attention层的输出端之间添加残差连接,在第二Layer Normalization层的输入端和第一Multi-Layer Perceptron层的输出端之间添加残差连接;

所述3D Masked Swin Transformer模块B由第三Layer Normalization层、3D ShiftedWindow based Multi-head Masked Self Attention层、第四LayerNormalization层和第二Multi-Layer Perceptron层依次连接组成,其中在第三LayerNormalization层的输入端和3D Shifted Window based Multi-head Masked SelfAttention层的输出端之间添加残差连接,在第四Layer Normalization层的输入端和第二Multi-Layer Perceptron层的输出端之间添加残差连接;

S2:构建一个三维医学图像分割模型A;所述三维医学图像分割模型A由基于3D MaskedSwin Transformer模块的编码器模块和解码器模块组成;所述三维医学图像分割模型A的输入为经过数据预处理的脑部MRI医学图像,输出为肿瘤区域分割结果;

所述基于3D Masked Swin Transformer模块的编码器模块由3D Patch Partition模块、第一3D Masked Swin Transformer模块、第一下采样模块、第二3D Masked SwinTransformer模块、第二下采样模块、第三3D Masked Swin Transformer模块、第三下采样模块和第四3D Masked Swin Transformer模块依次连接组成;所述解码器模块由第一上采样模块、第一跳跃连接模块、第一解码模块、第二上采样模块、第二跳跃连接模块、第二解码模块、第三上采样模块、第三跳跃连接模块、第三解码模块和分割头依次连接组成;所述第一跳跃连接模块、第二跳跃连接模块和第三跳跃连接模块均由Cross Attention块和特征融合块依次连接组成,所述第一跳跃连接模块、第二跳跃连接模块和第三跳跃连接模块均具有两路输入路径和一路输出路径;

其中,所述第一3D Masked Swin Transformer模块的输出路径分为两路,第一路的输出输入到第一下采样模块中,第二路的输出输入到第三跳跃连接模块的第二输入路径中;所述第二3D Masked Swin Transformer模块的输出路径分为两路,第一路的输出输入到第二下采样模块中,第二路的输出输入到第二跳跃连接模块的第二输入路径中;所述第三3DMasked Swin Transformer模块的输出路径分为两路,第一路的输出输入到第三下采样模块中,第二路的输出输入到第一跳跃连接模块的第二输入路径中;所述第四3D MaskedSwin Transformer模块的输出路径为一路,该路径的输出输入到所述解码器模块的第一上采样模块中;所述第一上采样模块的输出输入到第一跳跃连接模块的第一输入路径中,所述第一跳跃连接模块的输出输入到第一解码模块中;所述第二上采样模块的输出输入到第二跳跃连接的第一输入路径中,所述第二跳跃连接模块的输出输入到第二解码模块中;所述第三上采样模块的输出输入到第三跳跃连接的第一输入路径中,所述第三跳跃连接模块的输出输入到第三解码模块中;所述第三解码模块的输出输入到分割头中,分割头最后输出得到所需分割结果;

S3:获取原始医学图像数据集,对原始医学图像数据集进行数据预处理,并将预处理后的医学图像数据集划分为训练集和测试集;获取原始医学图像数据集,所述原始医学图像数据集中每张原始脑部MRI医学图像均包括It1、It2、It1ce、Iflair四个模态的三维图像,以及含有肿瘤标注标签信息的真实标签三维图像;对所述原始医学图像数据集中的每一张原始脑部MRI医学图像进行数据预处理,得到经过数据预处理后的脑部MRI医学图像,所有经过数据预处理后的脑部MRI医学图像组合在一起形成经过数据预处理后的医学图像数据集;最后,将所述经过数据预处理后的医学图像数据集划分为训练集和测试集,划分比例分别为α,1-α,其中α为设定的参数;

S4:设置网络模型训练的优化器、迭代次数e、初始学习率l、损失函数以及在线数据增强方法,使用所述训练集训练所述步骤S2构建的三维医学图像分割模型A,得到训练完成的三维医学图像分割模型B,并用所述测试集对三维医学图像分割模型B训练效果进行评估测试;

S5:使用所述三维医学图像分割模型B对原始脑部MRI医学图像中的肿瘤区域进行分割;对原始脑部MRI医学图像进行数据预处理,得到经过数据预处理后的脑部MRI医学图像,将经过数据预处理后的脑部MRI医学图像传入所述步骤S4的训练完成的三维医学图像分割模型B进行预测,得到分割结果。

2.根据权利要求1所述的一种基于掩码注意力机制的脑肿瘤MRI图像分割方法,其特征在于:

步骤S1中,给定3D Window based Multi-head Masked Self Attention层的输入特征X,3D Window based Multi-head Masked Self Attention层的输入特征X通过3D Windowbased Multi-head Masked Self Attention层运算,得到3D Window based Multi-headMasked Self Attention层的输出特征Y;

其中,所述3D Window based Multi-head Masked Self Attention层运算过程如下:首先将3D Window based Multi-head Masked Self Attention层的输入特征X均匀划分为N个窗口大小为w×w×w的特征块集合其中,特征块的空间位置坐标记为(ai,bi,ci);然后对特征块集合中的每个特征块进行Multi-head Masked SelfAttention操作,得到变换特征块集合最后将变换特征块集合中所有变换特征块进行拼接,将变换特征块放在空间位置(ai,bi,ci)处,得到3D Window basedMulti-head Masked Self Attention层的输出特征Y;其中,所述Multi-head Masked SelfAttention操作的计算公式为:式中,和分别表示Multi-head Masked Self Attention操作的输入特征和Multi-head Masked Self Attention操作的输出特征;f1,f2,f3均为线性变换函数;M表示所述脑部MRI医学图像的三维背景区域掩码图;d表示的通道数;softmax表示softmax函数。

3.根据权利要求1所述的一种基于掩码注意力机制的脑肿瘤MRI图像分割方法,其特征在于:

步骤S1中,给定3D Shifted Window based Multi-head Masked Self Attention层的输入特征XNS,3D Shifted Window based Multi-head Masked Self Attention层的输入特征XNS通过3D Shifted Window based Multi-head Masked Self Attention层运算,得到3DShifted Window based Multi-head Masked Self Attention层的输出特征YNS;

其中,所述3D Shifted Window based Multi-head Masked Self Attention层运算过程如下:首先对输入特征XNS通过三个空间轴正方向的循环移位操作得到移位特征XS,其中移位的步长为其中,w>1,符号表示对该符号中的数值进行向下取整;然后将输入移位特征XS均匀划分为N个窗口大小为w×w×w的移位特征块集合其中,移位特征块的空间位置坐标记为(ai,bi,ci);再对移位特征块集合中的每个移位特征块进行Multi-head Masked Self Attention操作,得到移位变换特征块集合再将移位变换特征块集合中所有移位变换特征块进行拼接,将移位变换特征块放在空间位置(ai,bi,ci)处,得到移位变换特征YS;最后对移位变换特征YS通过三个空间轴逆方向的循环移位操作得到3D Shifted Window based Multi-head MaskedSelf Attention层的输出特征YNS。

4.根据权利要求1所述的一种基于掩码注意力机制的脑肿瘤MRI图像分割方法,其特征在于:

步骤S2中,所述3D Patch Partition模块的计算公式为:

P=LN(conv(K))

式中,K和P分别表示所述3D Patch Partition模块的输入特征和3D Patch Partition模块的输出特征;conv表示卷积操作;LN表示Layer Normalization操作。

5.根据权利要求1所述的一种基于掩码注意力机制的脑肿瘤MRI图像分割方法,其特征在于:

步骤S2中,所述第一3D Masked Swin Transformer模块的计算公式为:

式中,F表示第一3D Masked Swin Transformer模块的输入特征;Z1和Z2分别表示第一3D Swin Transformer模块和第二3D Swin Transformer模块的输出特征;和分别表示3D Masked Swin Transformer模块A中3D Window based Multi-head Masked SelfAttention层的输出特征和3D Masked Swin Transformer模块B中3D Shifted Windowbased Multi-head Masked Self Attention层的输出特征;3DW-MMSA和3DSW-MMSA分别表示3D Window based Multi-head Masked Self Attention层和3D Shifted Window basedMulti-head Masked Self Attention层;MLP1和MLP2分别表示第一Multi-LayerPerceptron层和第二Multi-Layer Perceptron层;LN1和LN2和LN3和LN4分别表示第一LayerNormalization层、第二Layer Normalization层、第三Layer Normalization层和第四LayerNormalization层;

步骤S2中,所述第二3D Masked Swin Transformer模块、第三3D Masked SwinTransformer模块和第四3D Masked Swin Transformer模块采用与所述第一3D MaskedSwin Transformer模块相同的计算方式。

6.根据权利要求1所述的一种基于掩码注意力机制的脑肿瘤MRI图像分割方法,其特征在于:

步骤S2中,所述第一跳跃连接模块的计算公式如下:

式中,表示第一跳跃连接模块中Cross Attention块的输出特征;X1和X2分别表示第一跳跃连接模块中第一输入路径的输入特征和第一跳跃连接模块中第二输入路径的输入特征;Z表示第一跳跃连接模块的输出特征;CA和Fusion分别表示Cross Attention块和特征融合块;

步骤S2中,所述第二跳跃连接模块和第三跳跃连接模块采用与所述第一跳跃连接模块相同的计算方式。

7.根据权利要求1所述的一种基于掩码注意力机制的脑肿瘤MRI图像分割方法,其特征在于:

步骤S2中,所述Cross Attention块的计算公式如下:

式中,X1和X2分别表示Cross Attention块的两个输入特征;表示Cross Attention块的输出特征;f4,f5,f6均为线性变换函数;d表示X2的通道数;softmax表示softmax函数。

8.根据权利要求1所述的一种基于掩码注意力机制的脑肿瘤MRI图像分割方法,其特征在于:

步骤S2中,所述特征融合块的计算公式如下:

O=ReLU(conv(cat(I1,I2)))

式中,I1和I2分别表示所述特征融合块的第一输入特征和特征融合块的第二输入特征;O表示特征融合块的输出特征;conv表示卷积操作;cat表示对两输入特征在通道维度上进行拼接操作;ReLU表示ReLU激活函数;

步骤S2中,所述第一解码模块的计算公式如下:

Dout=conv(ReLU(BN(conv(ReLU(BN(Din))))))+Din

式中,Din和Dout分别表示所述第一解码模块的输入特征和第一解码模块的输出特征;conv表示卷积操作;BN表示批归一化操作;ReLU表示ReLU激活函数;

步骤S2中,所述第二解码模块和第三解码模块采用与所述第一解码模块相同的计算方式;

步骤S2中,所述分割头的计算公式如下:

Seg=softmax(conv(upsample(L)))

式中,L和Seg分别表示所述分割头的输入特征和分割头的输出结果;conv表示卷积操作;upsample表示上采样操作;softmax表示softmax函数。

9.根据权利要求1所述的一种基于掩码注意力机制的脑肿瘤MRI图像分割方法,其特征在于:

步骤S3和S5中,对原始脑部MRI医学图像进行数据预处理,得到经过数据预处理后的脑部MRI医学图像,其具体步骤是:

(1)多模态图像合并:对原始脑部MRI医学图像进行多模态图像合并,得到多模态拼接图像Iraw,所述多模态图像合并的具体操作过程如下:选择所述原始脑部MRI医学图像中4个模态图像It1、It2、It1ce、Iflair,将It1、It2、It1ce、Iflair在通道维度上进行拼接操作得到多模态拼接图像Iraw;

(2)数据标准化:对多模态拼接图像Iraw进行数据标准化,得到标准化图像Iz-score,所述数据标准化的计算公式如下:

式中,Iraw和Iz-score分别表示多模态拼接图像Iraw和标准化图像Iz-score;μ表示多模态拼接图像Iraw的均值;σ表示多模态拼接图像Iraw的标准差;

(3)背景掩码图提取:对标准化图像Iz-score进行背景掩码图提取,得到背景掩码图Imasked,所述背景掩码图提取的具体操作过程如下:首先对标准化图像Iz-score在横断面方向进行切片得到二维切片图像然后对所有二维切片图像分别进行二维背景掩码图提取,分别得到二维背景掩码图最后,按原始切片顺序将所有二维背景掩码图在横断面方向维度中进行拼接,得到所述背景掩码图Imasked;

在背景掩码图提取中,所述二维背景掩码图提取的具体操作过程如下:二维切片图像首先经过图像二值化操作得到二值图像然后,二值图像经过形态学操作得到形态学操作后的二值图像最后,获取形态学操作后的二值图像的最大连通区域,并将其标记为图像背景区域,新建初始二维背景区域掩码图其尺寸大小与二值图像一致,将所述初始二维背景区域掩码图在图像背景区域中的像素值置为-999,将所述初始二维背景区域掩码图在图像非背景区域中的像素值置为0,得到二维背景区域掩码图

10.根据权利要求1所述的一种基于掩码注意力机制的脑肿瘤MRI图像分割方法,其特征在于:

步骤S4中,所述模型训练的优化器采用Adam优化器,所述训练迭代次数e设置为100000,所述学习率l设置为0.01,所述损失函数使用BCEDiceLoss损失函数;其中,所述BCEDiceLoss计算公式如下:式中,I,J分别表示三维图像像素的总数和预测类别数;Gi,j表示真实标签在第i个像素的第j个类别的独热编码,Yi,j表示模型预测结果在第i个像素的第j个类别的独热编码;

步骤S4中,所述在线数据增强方法包括随机的平移,随机的水平镜像翻转,随机的垂直镜像翻转,随机的图像放缩和图像裁剪。