1.一种基于注意力机制的等变弱监督语义分割方法,其特征在于,包括步骤如下:步骤1生成类激活图:
1.1将图片输入到拆除了ReLU层的Resnet38分类网络中提取特征;
1.2再通过CSM模块对重要但易被忽略的特征即次要特征进行提取;
1.3接着将提取的特征输入到CAM中得到类激活图,记为输出1;
1.4将Resnet38分类网络第四层和第五层的输出特征进行融合,然后将融合后的特征与输出1一起输入到像素相关模块PCM中对步骤1.3的类激活图进一步捕获和修正,得到输出2;
1.5将图片进行缩放作为输入,并对其进行与步骤1.1‑步骤1.4相同的操作作为补偿监督,得到输出3、输出4;
1.6最后,利用三个损失函数对输出1、输出2、输出3和输出4进行调节,获得优化的类激活图;其中步骤1.1‑步骤1.6为提出的DSEAM网络;
步骤2将步骤1.6生成的类激活图输入到AffinityNet模型中进一步细化,获得伪标签;
步骤3使用全监督方式即DeepLab v1模型对步骤2生成的伪标签进行训练,其中将DeepLab v1模型中的VGGNet网络替换为Resnet网络,DeepLab v1模型得到的预测结果作为最终分割结果。
2.根据权利要求1基于注意力机制的等变弱监督语义分割方法,其特征在于,所述步骤
1.2中CSM模块包括通道注意力模块和空间注意力模块;
先将输入特征送入通道注意力模块,在通道维度增强次要特征并抑制最敏感和最不敏感的特征,然后将输入通道注意力模块前的特征与经通道注意力模块的特征进行相乘,以实现在通道维度进行次要特征激活结果;记为输出特征1;再将输出特征1输入到空间注意力模块,对经通道维度增强的次要特征在空间维度上进行调整,同时对次要特征进行进一步的激活提取;接着将得到的输出与输出特征1相乘,得到增强后的次要特征;随后,使用relu激活函数提高对特征的敏感性,从而提高提取的准确性;最终得到经过CSM模块的最终结果,其过程表示为:其中,F表示分类网络的输出,Ca表示通道注意力模块,Sa表示空间注意力模块,δ表示relu函数, 表示逐元素乘法;
通道注意力模块能帮助主干网络在通道维度提取语义分割任务所需的区域,先将特征通过最大池化层和平均池化层提取增强其次要特征,后经全连接网络得到的输出进行补充调整,最后将得到的两个输出融合sigmoid激活得到增强的次要特征,具体操作表示为:其中,F为分类网络的输出,Avg为平均池化,Max表示最大池化,MLP为全连接层,表示sigmoid函数;
空间注意力模块能帮助主干网络提取空间维度语义分割任务所需的区域,输入特征先通过最大池化层和平均池化层进行次要特征区域激活,再将其进行融合卷积,以在空间维度进行特征重新提取,最后通过sigmoid激活得到输出,具体操作表示为:其中,F为分类网络的输出,Avg为平均池化,Max为最大池化,表示sigmoid函数,C7×7表示滤波器为7×7的卷积。
3.根据权利要求1基于注意力机制的等变弱监督语义分割方法,其特征在于,所述像素相关模块PCM是自我注意力机制的核心部分,通过在网络末端加入像素相关模块,在等变正则化的监督下进行训练和修正,使用余弦距离来评估像素间特征相似度,同时以归一化特征空间中的内积来计算当前像素与其他像素之间的亲和力关系,ReLU激活相似性以抑制负值,最终CAM是原始CAM具有标准化相似性的加权总和,该过程表示为:
4.根据权利要求1基于注意力机制的等变弱监督语义分割方法,其特征在于,所述步骤
1.6中三个损失函数包括分类损失、等变正则化和交叉等变正则化,网络采用图像级分类标签作为弱监督标签信息,根据CAM网络架构,在网络末端添加全局平均池化层获得对图像的
0 t
分类预测向量z, 和 分别表示经过仿射变换网络两个分支的原始CAM输出,y 和y分别代表由像素相关模块修正的两个分支的输出,分类损失Lcls表示如下:
0 t
其中c‑1表示除背景外的类别数,lcls表示单分支的多标签分类损失,z和z分别表示仿射变换网络两个分支的全局平均池化层聚合的预测向量;
等变正则化损失指图像经过仿射变换后生成的CAM与原图像的CAM保持相同的变换规则,保证等变性,等变损失Ler表示如下:其中A表示仿射变换函数;
交叉等变正则化损失是指PCM的输出由孪生网络另一分支的CAM输出进行监督,不仅能避免PCM的输出陷入局部最优解,还能避免在PCM修正过程中CAM退化,交叉等变正则化损失Lecr表示如下:网络的损失函数L表示:
L=Lcls+Ler+Lecr (9)。