1.一种基于3D-Unet的三维脑肿瘤分割方法,其特征在于,所述方法包括:
获取脑肿瘤MRI三维影像;
将所述脑肿瘤MRI三维影像输入到改进的3D-Unet网络中,得到脑肿瘤分割结果;
其中,所述改进的3D-Unet网络是在经典3D-Unet网络的编码路径每层的双卷积模块后顺序加入双路径序列注意力机制和结构重塑注意力机制,在解码路径的除第一层和最后一层以外的所有层中的反卷积层之前加入结构重塑注意力机制得到的;所述双路径序列注意力机制用于提取不同脑部MRI序列中包含的关键特征;所述结构重塑注意力机制用于引导模型找出需要重点关注的区域;
其中,将所述脑肿瘤MRI三维影像输入到改进的3D-Unet网络中,得到脑肿瘤分割结果,包括:将所述脑肿瘤MRI三维影像经过五个依次连接的卷积池化模块,得到五个卷积特征图;所述卷积池化模块包括双卷积模块和最大池化层;
将五个所述卷积特征图分别经过由双路径序列注意力机制和结构重塑注意力机制构成的注意力机制模块,得到五个结构重塑注意力特征图;
将第五个所述结构重塑注意力特征图采用反卷积进行上采样处理,并将采样结果与第四个所述结构重塑注意力特征图进行序列拼接,将得到的拼接结果经过第六个双卷积模块,得到解码路径的第四层输出特征图;
将所述第四层输出特征图经过第二个所述结构重塑注意力机制后采用反卷积进行上采样处理,并将采样结果与第三个所述结构重塑注意力特征图进行序列拼接,将得到拼接结果经过第七个双卷积模块,得到解码路径的第三层输出特征图;
将所述第三层输出特征图经过第三个所述结构重塑注意力机制后采用反卷积进行上采样处理,并将采样结果与第二个所述结构重塑注意力特征图进行序列拼接,将得到拼接结果经过第八个双卷积模块,得到解码路径的第二层输出特征图;
将所述第二层输出特征图经过第四个所述结构重塑注意力机制后采用反卷积进行上采样处理,并将采样结果与第一个所述结构重塑注意力特征图进行序列拼接,得到解码路径的第一层输出特征图;
将所述第一层输出特征图经过标准三维卷积层,得到脑肿瘤分割结果。
2.根据权利要求1所述的方法,其特征在于,所述双路径序列注意力机制包括:一个三维全局平均池化层、一个三维全局最大池化层、第一全连接层、第二全连接层;
将五个所述卷积特征图分别经过由双路径序列注意力机制和结构重塑注意力机制构成的注意力机制模块,得到五个结构重塑注意力特征图,包括:将第一个所述卷积特征图输入到所述双路径序列注意力机制中,同时分别经过所述三维全局平均池化层和所述三维全局最大池化层后,得到全局平均池化特征图和全局最大池化特征图;
将所述全局平均池化特征图和所述全局最大池化特征图分别进行维度重塑后再进行序列拼接,得到第一序列拼接特征图;
将所述第一序列拼接特征图经过所述第一全连接层和ReLU6激活函数后再经过所述第二全连接层和Sigmoid激活函数,并将得到的激活结果进行维度重塑,得到序列注意力权重;
将所述序列注意力权重与第一个所述卷积特征图进行元素相乘,得到第一个序列注意力特征图;
将第一个所述序列注意力特征图经过结构重塑注意力机制,得到第一个所述结构重塑注意力特征图;
依此类推,将第二个、第三个、第四个以及第五个所述卷积特征图分别经过所述注意力机制模块,得到第二个、第三个、第四个以及第五个所述结构重塑注意力特征图。
3.根据权利要求2所述的方法,其特征在于,所述结构重塑注意力机制包括:由三种不同累加处理方法组成累加处理模块、矩阵相乘模块;三种不同累加处理方法包括:沿H×W平面、D×H平面、D×W平面累加各个元素;
将第一个所述序列注意力特征图经过所述结构重塑注意力机制,得到第一个所述结构重塑注意力特征图,包括:将第一个所述序列注意力特征图输入到第一个所述结构重塑注意力机制的累计处理模块中,同时分别三种不同累加处理方法进行处理,得到三个形状不同的张量;
将三个所述张量经过所述矩阵相乘模块和Sigmoid激活函数后,得到三维结构注意力图;
将所述三维结构注意力图与第一个所述序列注意力特征图进行元素相乘,得到第一个所述结构重塑注意力特征图。
4.根据权利要求1所述的方法,其特征在于,所述双卷积模块包括两个由标准三维卷积层、三维批归一化、ReLU激活函数组成的卷积模块。
5.一种基于UNETR的三维脑肿瘤分割方法,其特征在于,所述方法包括:
获取脑肿瘤MRI三维影像;
将所述脑肿瘤MRI三维影像输入到改进的UNETR网络中,得到脑肿瘤分割结果;
其中,所述改进的UNETR网络是在经典UNETR网络的部分解码器之后添加了双路径序列注意力机制和结构重塑注意力机制得到的;所述双路径序列注意力机制用于提取不同脑部MRI序列中包含的关键特征;所述结构重塑注意力机制用于引导模型找出需要重点关注的区域;
其中,将所述脑肿瘤MRI三维影像输入到改进的UNETR网络中,得到脑肿瘤分割结果,包括:将所述脑肿瘤MRI三维影像经过连续12个ViT模块后,将第三个、第六个、第九个和第十二个ViT模块的输出特征图分别经过第一组合模块、第二组合模块、第三组合模块以及用于上采样的反卷积层后,得到第三个、第六个、第九个和第十二个中间特征;第一组合模块、第二组合模块和第三组合模块分别包括3、2、1个由一层用于上采样的反卷积层、一个标准三维卷积模块组成的网络模块;所述标准三维卷积模块由三维标准卷积层、批归一化层以及ReLU激活函数组成;
将所述脑肿瘤MRI三维影像经过两个标准三维卷积模块后,得到第零个中间特征;
将第零个、第三个、第六个、第九个和第十二个所述中间特征分别经过结构重塑注意力机制后,得到五个不同维度的结构重塑特征图;
将第五个所述结构重塑特征图与第四个所述结构重塑特征图进行序列拼接,并将得到的拼接结果经过两个标准三维卷积模块和一层用于上采样的反卷积层后,得到第四个解码器输出特征;
将所述第四个解码器输出特征经过一个结构重塑注意力机制和一个双路径序列注意力机制,将得到的特征图与第三个所述结构重塑特征图进行序列拼接,并将得到的拼接结果经过两个标准三维卷积模块和一层用于上采样的反卷积层后,得到第三个解码器输出特征;
将所述第三个解码器输出特征经过一个结构重塑注意力机制和一个双路径序列注意力机制,将得到的特征图与第二个所述结构重塑特征图进行序列拼接,并将得到的拼接结果经过两个标准三维卷积模块和一层用于上采样的反卷积层后,得到第二个解码器输出特征;
将所述第三个解码器输出特征经过一个结构重塑注意力机制和一个双路径序列注意力机制后,并将得到的特征图与第二个所述结构重塑特征图进行序列拼接,并将得到的拼接结果经过两个标准三维卷积模块,得到融合特征图;
将所述融合特征图经过一个双路径序列注意力机制和一层用于调整序列数的标准三维卷积层,得到脑肿瘤分割结果。
6.一种基于3D-Unet的三维脑肿瘤分割装置,其特征在于,所述装置包括:
三维影像获取模块,用于获取脑肿瘤MRI三维影像;
脑肿瘤分割模块,用于将所述脑肿瘤MRI三维影像输入到改进的3D-Unet网络中,得到脑肿瘤分割结果;其中,所述改进的3D-Unet网络是在经典3D-Unet网络的编码路径每层的双卷积模块后顺序加入双路径序列注意力机制和结构重塑注意力机制,在解码路径的除第一层和最后一层以外的所有层中的反卷积层之前加入结构重塑注意力机制得到的;所述双路径序列注意力机制用于提取不同脑部MRI序列中包含的关键特征;所述结构重塑注意力机制用于引导模型找出需要重点关注的区域;
其中,脑肿瘤分割模块,还用于将所述脑肿瘤MRI三维影像经过五个依次连接的卷积池化模块,得到五个卷积特征图;所述卷积池化模块包括双卷积模块和最大池化层;将五个所述卷积特征图分别经过由双路径序列注意力机制和结构重塑注意力机制构成的注意力机制模块,得到五个结构重塑注意力特征图;将第五个所述结构重塑注意力特征图采用反卷积进行上采样处理,并将采样结果与第四个所述结构重塑注意力特征图进行序列拼接,将得到的拼接结果经过第六个双卷积模块,得到解码路径的第四层输出特征图;将所述第四层输出特征图经过第二个所述结构重塑注意力机制后采用反卷积进行上采样处理,并将采样结果与第三个所述结构重塑注意力特征图进行序列拼接,将得到拼接结果经过第七个双卷积模块,得到解码路径的第三层输出特征图;将所述第三层输出特征图经过第三个所述结构重塑注意力机制后采用反卷积进行上采样处理,并将采样结果与第二个所述结构重塑注意力特征图进行序列拼接,将得到拼接结果经过第八个双卷积模块,得到解码路径的第二层输出特征图;将所述第二层输出特征图经过第四个所述结构重塑注意力机制后采用反卷积进行上采样处理,并将采样结果与第一个所述结构重塑注意力特征图进行序列拼接,得到解码路径的第一层输出特征图;将所述第一层输出特征图经过标准三维卷积层,得到脑肿瘤分割结果。
7.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法。