1.一种改进U-Net网络的腺体细胞图像分割方法,其特征在于该方法包括:
步骤一、获取腺体细胞原图像;
步骤二、数据预处理
2.1对腺体细胞原图像调整图像大小,并筛选出分辨率较高,且没有信息缺少的图像作为训练数据;
2.2使用tensorflow数据增强库对训练数据集进行数据增强;
步骤三、搭建改进U-Net网络模型
将U-Net网络中每两次3x3卷积之后做池化操作,替换成将两个3x3卷积操作组合构建的密集连接块卷积之后做池化操作;同时在解码器端把生成的特征图送入自注意力模块生成新的特征图,且和编码器端经过跳跃连接生成的特征图做相加操作构成新的特征图,最后将网络生成的高分辨率特征图通过1x1的卷积映射转化为通道数为2的特征图,送入Softmax分类器以获得每个像素为细胞的概率值,得到细胞的分割图;
所述的密集连接块由两个3x3卷积层(conv)组成,且把第一个卷积层之后的结果保留下来,然后和两次卷积之后的结果进行连接操作,作为密集连接块的输出结果;
所述的自注意力模块由位置注意力模块、通道注意力模块、融合模块组成;
所述的位置注意力模块是将解码器端接收到的特征图A生成空间注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和解码器端接收到的特征图A矩阵进行逐个元素的求和运算,以获得反映长距离上下文的最终表示;
所述的通道注意力模块是将解码器端接收到的特征图A在通道维度上计算通道注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和解码器端接收到的特征图A矩阵进行逐个元素的求和运算,以捕获通道维度中的远程上下文信息;
所述的融合模块是通过卷积层对这两个注意力模块的输出进行变换,并逐个元素求和进行特征融合,生成新特征图;将新特征图和解码端的密集连接块经过跳跃连接生成的特征图进行相加操作,最终生成新的特征图,作为下一次反卷积的输入或者作为最后的高分辨率特征图;
步骤(3.2):网络模型训练
将制作好的数据集输入到改进U-Net网络中进行模型训练;训练得到的网络模型可用于对细胞图像进行分割。
2.如权利要求1所述的一种改进U-Net网络的腺体细胞图像分割方法,其特征在于位置注意力模块生成新的特征图具体操作包括如下:(a-1)将特征图 送入卷积层,生成两个特征图B和C,其中
并将B,C转化(reshape)成 其中N=H×W是像素点的个数;
(a-2)对步骤(a-1)处理后特征图B和特征图C两者做转置处理后再进行矩阵相乘,且经过softmax层计算出空间特征图其中sji代表第i个位置在第j个位置上的影响,两个位置的要素表示越相似,它们之间的相关性越强;j=1,…,N;Bi和Cj代表的是在步骤(a-1)处理后转置处理后特征图B上的i点和特征图C上的j点所表示的像素值;
(a-3)把特征图A送到卷积层生成一个新的特征图D, 并将D转化
(reshape)为
(a-4)对特征图D和空间特征图S两者转置处理后再进行矩阵相乘,并且将结果转化(reshape)为 最后对特征图A做逐个元素求和的操作,以获得最终输出
3.如权利要求1或2所述的一种改进U-Net网络的腺体细胞图像分割方法,其特征在于通道注意力模块生成新的特征图具体操作包括如下:(b-1)将特征图A转化(reshape)成
(b-2)对步骤(b-1)处理后特征图A转置处理后矩阵B和步骤(b-1)处理后特征图A做矩阵相乘,最后经过softmax层得到通道特征图其中xji代表第i个通道在第j个通道上的影响;j=1,…,C;
(b-3)对通道特征图X转置处理后矩阵和步骤(b-1)处理后特征图A做矩阵相乘,并转化(reshape)成 然后对特征图A做逐个元素求和的操作,获得最终输出
4.一种基于改进U-Net网络的腺体细胞分割图像系统,其特征在于包括:
数据获取模块,用于获取腺体细胞原图像;
数据预处理模块,用于对数据获取模块传送的腺体细胞原图像调整图像大小;
改进U-Net网络模型模块,用于根据数据预处理模块处理后的图像和概率结果进行细胞分割;
所述改进U-Net网络模型包括多个循环单元A、多个循环单元B、密集连接块C、卷积池;
其中循环单元A包括密集连接块A、最大池化池,循环单元B包括自注意力模块、密集连接块B、反卷积池;密集连接块A的输入端作为循环单元A的输入端,第一输出端接最大池化池的输入端,第二输出端跳跃连接自注意力模块的第一输入端;最大池化池的输出端接下一个循环单元A的输入端或接密集连接块C的输入端;反卷积池的输入端接密集连接块C的输出端,输出端接密集连接块B的输入端;密集连接块B的输出端接自注意力模块的第二输入端;
自注意力模块的输出端接下一个循环单元B的输入端或卷积池的输入端;
所述的密集连接块A、B、C为相同结构密集连接块,均由两个串联3x3卷积池组合构成;
第一个3x3卷积池的输出端接自注意力模块的输入端,第二个3x3卷积池的输出端接最大池化池的输入端;
所述的自注意力模块均包括位置注意力模块、通道注意力模块、融合模块;
所述位置注意力模块是将解码器端接收到的对应密集连接块B传输的特征图A生成空间注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和特征图A矩阵进行逐个元素的求和运算,以获得反映长距离上下文的最终表示;
所述通道注意力模块是将解码器端接收到的对应密集连接块B传输的特征图A在通道维度上计算通道注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和特征图A矩阵进行逐个元素的求和运算,以捕获通道维度中的远程上下文信息;
所述的融合模块是通过卷积层对位置注意力模块、通道注意力模块的输出进行变换,并逐个元素求和进行特征融合,生成新特征图;将新特征图和解码端接收到的对应密集连接块A跳跃传输的特征图进行相加操作,最终生成新的特征图,作为反卷积池的输入或者作为最后的高分辨率特征图输入至卷积池。
5.如权利要求4所述的一种基于改进U-Net网络的腺体细胞图像分割系统,其特征在于改进U-Net网络模型包括第一密集连接块、第一最大池化池、第二密集连接块、第二最大池化池、第三密集连接块、第三最大池化池、第四密集连接块、第四最大池化池、第五密集连接块、第一反卷积池、第六密集连接块、第一自注意力模块、第二反卷积池、第七密集连接块、第二自注意力模块、第三反卷积池、第八密集连接块、第三自注意力模块、第四反卷积池、第九密集连接块、第四自注意力模块、卷积池;第一密集连接块的输入接数据预处理模块处理后的图像,第一输出端接第一最大池化池的输入端,第二输出端跳跃连接第四自注意力模块的第一输入端;第二密集连接块的第一输出端接第二最大池化池的输入端,第二输出端跳跃连接第三自注意力模块的第一输入端,输入端接第一最大池化池的输出端;第三密集连接块的第一输出端接第三最大池化池的输入端,第二输出端跳跃连接第二自注意力模块的第一输入端,输入端接第二最大池化池的输出端;第四密集连接块的第一输出端接第四最大池化池的输入端,第二输出端跳跃连接第一自注意力模块的第一输入端,输入端接第三最大池化池的输出端;第四最大池化池的输出端接第五密集连接块的输入端;第五密集连接块的输出端接第六密集连接块的输入端;第六密集连接块的输出端接第一自注意力模块的第二输入端;第一自注意力模块的输出端接第二反卷积池的输入端;第二反卷积池的输出端接第七集连接块的输入端;第七密集连接块的输出端接第二自注意力模块的第二输入端;第二自注意力模块的输出端接第三反卷积池的输入端;第三反卷积池的输出端接第八密集连接块的输入端;第八密集连接块的输出端接第三自注意力模块的第二输入端;第三自注意力模块的输出端接第四反卷积池的输入端;第四反卷积池的输出端接第九密集连接块的输入端;第九密集连接块的输出端接第四自注意力模块的第二输入端;第四自注意力模块的输出端接卷积池的输入端;卷积池的输出作为最终结果。