1.一种注意力引导的可变形自注意力的语义分割方法,其特征是,包括步骤如下:步骤1、将原始图像进行预处理操作,即将原始图像的高度和宽度缩放为同一大小;
步骤2、对步骤1所得到的图像依次进行两次特征提取操作,分别得到一次特征提取后的特征图和两次特征提取后的特征图;
步骤3、通过生成步骤2所得到的两次特征提取后的特征图的注意力权重,并将特征图的重要特征进行强化,得到具有重要特征的权重特征图;
步骤4、将步骤3所得到的具有重要特征权重的特征图中低注意力权重的特征通道像素值设为0,从而得到高权重特征图;同时将步骤3所得到的具有重要特征权重的特征图中高注意力权重的特征通道像素值设为0,从而得到低权重特征图;
步骤5、将步骤4所得到的高权重特征图经过可变形自注意力Transformer操作,得到具有丰富的全局上下文信息的特征图;
步骤6、将步骤4所得到的低权重特征图进行双权重的双注意力操作,得到双注意力特征图;
步骤7、将步骤5所得到的具有丰富的全局上下文信息的特征图和步骤6所得到的双注意力特征图进行特征相加,得到注意力特征图;
步骤8、将步骤7所得到的注意力特征图进行三次注意力图的上采样操作后,得到上采样后的注意力特征图;
步骤9、将步骤8所得到的上采样后的注意力特征图进行卷积操作,得到降通道后的特征图;
步骤10、将步骤9所得到的降通道后的特征图与步骤2所得到的两次特征提取后的特征图进行通道拼接操作,得到第一通道拼接特征图;
步骤11、将步骤10所得到的第一通道拼接特征图进行通道拼接图的上采样操作,得到第一上采样通道拼接特征图;
步骤12、将步骤11所得到的第一上采样通道拼接特征图与步骤2所得到的一次特征提取后的特征图进行通道拼接操作,得到第二通道拼接特征图;
步骤13、将步骤12所得到的第二通道拼接特征图进行通道拼接图的上采样操作,得到第二上采样通道拼接特征图;
步骤14、对步骤13所得到的第二上采样通道拼接特征图进行卷积操作,得到分割结果图像。
2.根据权利要求1所述的一种注意力引导的可变形自注意力的语义分割方法,其特征是,步骤2中,每次特征提取操作均需要依次经过一次3×3的卷积操作、一次1×1的卷积操作、一次ReLU激活操作和一次最大池化操作来实现。
3.根据权利要求1所述的一种注意力引导的可变形自注意力的语义分割方法,其特征是,步骤3的具体过程为:步骤3.1、将两次特征提取后的特征图进行全局平均池化操作,得到具有c个通道的特征图;
步骤3.2、将具有c个通道的特征图进行两次全连接操作,利用通道间的相关性训练权重,得到注意力权重;其中第一次全连接操作把c个通道压缩成为c/r个通道来降低计算量,且第一次全连接操作后面跟有ReLU激活操作,第二个全连接层再将通道数恢复为c,且第二次全连接操作后面跟有Sigmoid激活操作;其中r为压缩比例;
步骤3.3、将两次特征提取后的特征图和注意力权重进行全乘操作,得到具有重要特征的权重特征图。
4.根据权利要求1所述的一种注意力引导的可变形自注意力的语义分割方法,其特征是,步骤4中,将具有重要特征权重的特征图的各个特征通道的最高注意力权重和最低注意力权重相加再除以2得到平均注意力权重;若具有重要特征权重的特征图的特征通道的注意力权重小于等于平均注意力权重,则为低注意力权重的特征通道;若具有重要特征权重的特征图的特征通道的注意力权重大于平均注意力权重,则为高注意力权重的特征通道。
5.根据权利要求1所述的一种注意力引导的可变形自注意力的语义分割方法,其特征是,步骤5的具体过程为:步骤5.1、先将高权重特征图切分为均匀的原始图像块;
步骤5.2、对步骤5.1所得到的每个原始图像块进行可变形自注意力窗口操作,得到形变图像块;即:先对每个原始图像块进行深度卷积操作来捕获局部特征,并使用GELU激活操作和卷积操作得到每个图像块各个像素点的偏移量;
再将每个原始图像块的各个轮廓参考点的坐标加上其偏移量,使得各个轮廓参考点的位置发生偏移,并以偏移后的轮廓参考点作为原始图像块的新轮廓;
后使用双线性插值操作对每个原始图像块的新轮廓内的像素点进行像素值的填充,得到不规则图像块,并使用像素值为0的像素点将不规则图像块填充到与原始图像块相同的大小,得到形变图像块;
步骤5.3、对步骤5.2所得到的各个形变图像块进行线性映射,让每个形变图像块的维度映射到指定的维度;
步骤5.4、在步骤5.3所得到每个线性映射后的形变图像上添加可学习的位置编码向量,得到具有位置信息的图像块;
步骤5.5、将步骤5.4所得到的每个具有位置信息的图像块送入到Transformer编码器中,得到每个具有位置信息的图像块的自注意力感知特征向量;
步骤5.6、将步骤5.5所得到的所有自注意力感知特征向量送入到Transformer解码器中,得到具有丰富的全局上下文信息的特征图。
6.根据权利要求5所述的一种注意力引导的可变形自注意力的语义分割方法,其特征是,步骤5.2中,每个图像块包括9个轮廓参考点,即左上角的像素点、右上角像素点、左下角像素点、右下角像素点、中心像素点、最上一行的中心点像素点、最下一行的中心像素点、最左一列的中心像素点和最右一列的中心像素点。
7.根据权利要求1所述的一种注意力引导的可变形自注意力的语义分割方法,其特征是,步骤6的具体过程为:步骤6.1、利用空洞卷积策略的残差网络对低权重特征图进行特征提取;
步骤6.2、将残差网络所提取的特征图同时进行双权重的空间注意力提取和双权重的通道注意力提取,分别得到空间注意力特征图和通道注意力特征图;
①在进行双权重的空间注意力提取时:
首先,将残差网络所提取的特征图进行五次并行的卷积操作,其中两次卷积操作为3×
3的卷积操作,三次卷积操作为1×1的卷积操作;并对五次并行的卷积操作所得到的卷积特征图进行形态变换,得到二维的特征矩阵;
然后,将经过一次3×3的卷积操作和形态变换所得到的特征矩阵进行转置后与经过一次3×3的卷积操作和形态变换后的特征矩阵做矩阵相乘后,使用softmax函数得到第一空间注意力矩阵;同时将经过一次1×1的卷积操作和形态变换所得到的特征矩阵进行转置后与经过一次1×1的卷积操作和形态变换后的特征矩阵做矩阵相乘后,使用softmax函数得到第二空间注意力矩阵;之后,将第一空间注意力矩阵与第二空间注意力矩阵相加再除以2得到空间注意力矩阵;
接着,将经过一次1×1的卷积操作和形态变换后的特征矩阵与空间注意力矩阵做矩阵相乘后,通过形态变换得到空间特征图;
最后,将空间特征图与残差网络所提取的特征图相加,并进行1×1卷积操作后,得到空间注意力特征图;
②在进行双权重的通道注意力提取时:
首先,将残差网络所提取的特征图进行形态变换所得到特征矩阵与残差网络所提取的特征图进行形态变换和转置所得到特征矩阵做矩阵相乘后,使用softmax函数得到第一通道注意力矩阵;同时将残差网络所提取的特征图进行最大池化,并将最大池化后的残差网络所提取的特征图进行形态变换所得到特征矩阵与最大池化后的残差网络所提取的特征图进行形态变换和转置所得到特征矩阵做矩阵相乘后,使用softmax函数得到第二通道注意力矩阵;之后,将第一通道注意力矩阵与第二通道注意力矩阵相加再除以2得到通道注意力矩阵;
然后,将残差网络所提取的特征图进行形态变换所得到特征矩阵与通道注意力矩阵做矩阵相乘后,通过形态变换得到通道特征图;
最后,将通道特征图与残差网络所提取的特征图相加,并进行1×1卷积操作后,得到通道注意力特征图;
步骤6.3、将空间注意力特征图和通道注意力特征图进行特征相加,得到双注意力特征图。
8.根据权利要求1所述的一种注意力引导的可变形自注意力的语义分割方法,其特征是,步骤8中,每次注意力图的上采样操作均需要依次经过一次3×3的卷积操作、一次ReLu激活操作和一次2倍上采样操作来实现。
9.根据权利要求1所述的一种注意力引导的可变形自注意力的语义分割方法,其特征是,步骤11和步骤13中,每次通道拼接图的上采样操作均需要依次经过一次1×1的卷积操作、一次3×3卷积操作、一次批量归一化操作、一次ReLU激活操作和一次2倍上采样操作来实现。