1.一种基于CNN-Transformer并行编码器的医学图像分割方法,其特征在于,使用卷积神经网络捕捉到局部信息,Transformer捕捉到远程全局信息;通过特征筛选,调整注意力的分布和去除无用信息;通过双层融合模块融合多尺度特征并输出,具体步骤为:步骤1,获取医学图像分割训练数据集,并对其进行预处理操作;
步骤2,建立由卷积神经网络与金字塔Transformer组合而成的类U-Net图像分割网络模型;
步骤3,由卷积神经网络和Transformer组成的并行编码器进行特征提取,并取每一层的特征进行注意力筛选;
步骤4,将提取后的特征输入到解码器,依次进行上采样和特征融合;
步骤5,将解码器执行完成后的结果使用卷积将通道数调整为1,并使用上采样还原图像到原始大小,最终输出分割图;
步骤2中,类U-Net图像分割网络模型由编码器和解码器两个部分组成,两者通过带注意力机制的跳跃连接结合;编码器,使用的是ResNet34和Transformer两条路径并行的编码策略;编码器跳跃连接部分使用CBAM和EMA注意力机制;解码器,使用双层融合模块进行特征融合和最终输出;
编码器共有两个分支,包括以ResNet34为基本骨干的卷积神经网络分支和金字塔Transformer分支;
对于卷积神经网络分支共有四个层次,其中第一层、第二层和第三层分别为多个残差块,对应的特征维度分别为128×56×56、256×28×28、512×14×14;第四层由两个卷积层构成,每个卷积层包括卷积、BN层和ReLU激活函数,卷积核大小均为3×3,步长均为2,最终的输出维度为1024×7×7;
对于金字塔Transformer分支,同样也分为四个层次;第一层采用一个patch大小为4的patch embedding层来对大小为3×224×224的输入图像进行操作;然后通过Transformer层处理得到的分辨率大小为320×56×56的特征图,以捕获其全局信息;第二、第三和第四层的结构相同,为了保存patch embedding中的详细信息,将patch大小减少到2,使用金字塔结构的Transformer编码器,依次对特征图进行8、16和32倍的下采样;
将编码器的第一层特征送入通道-空间注意力机制CBAM中进行特征提取;
将编码器的第二层、第三层和第四层的特征送入高效多尺度注意力机制EMA中进行特征提取,第二层、第三层和第四层的特征经过EMA处理后,维度保持不变;
高效多尺度注意力机制EMA,使用一个多尺度并行子网络来建立长短依赖关系,其中σ表示sigmoid激活函数,f
2.根据权利要求1所述的方法,其特征在于,步骤1具体包括如下步骤:步骤1.1,使用ISIC2018、BUSI和Kvasir-SEG作为数据集;对于每个数据集,样本按照8:2随机划分为不相交的训练/测试集,取训练集的20%样本作为验证集;
步骤1.2,将数据集中的图像尺寸调整为224×224,对其进行数据增强操作,所述的数据增强操作方法为:对数据集图像进行90°旋转和水平翻转,执行数据增强的概率为0.5。
3.根据权利要求2所述的方法,其特征在于,通道-空间注意力机制CBAM,包括两个部分,一是通道的注意力,二是空间的注意力;
CBAM可以用以下公式表示:
其中,F是特征图,M
通道注意力机制M
其中σ表示sigmoid激活函数,W
空间注意力机制M
其中f
第一层的特征X
4.根据权利要求3所述的方法,其特征在于,步骤4包括两个部分,一个部分为第二、第三和第四层特征的上采样融合,另一个部分为第一层和其他三个层次的特征融合;
步骤4.1,将第四层的特征映射X
X
其中⊙表示矩阵乘积,Concat(·)表示通道维度上的拼接操作,f(·)表示卷积操作;
步骤4.2,将X
H
步骤4.3,将H
W=softmax(
其中,f
矩阵V由H
其中S为原始特征图,F为最终输出,
5.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:该程序被处理器执行时实现如权利要求1~4中任一项所述的基于CNN-Transformer并行编码器的医学图像分割方法中的步骤。
6.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1~4中任一项所述的基于CNN-Transformer并行编码器的医学图像分割方法中的步骤。