1.一种基于部件感知学习分割网络的弱监督语义分割方法,其特征在于,包括:步骤1:构建部件感知学习分割网络;
所述部件感知学习分割网络包括串联的部件-整体精炼模块和主干网络,以及分类分支网络和部件分支网络;分类分支网络和部件分支网络并联后串接在主干网络后端;
其中,所述部件-整体精炼模块依次进行小目标掩码去除、高相似度掩码去除和掩码中目标部件与整体之间的关系矩阵记录处理;
所述部件分支网络包括依次连接的部件感知学习模块、Transformer Encoder模块、全连接层和分类器;所述部件感知学习模块依次进行嵌入特征提取,嵌入特征尺度重塑,掩码特征融合以及图像特征输出处理;
步骤2:将训练集图像输入SAM分割模型,得到训练集图像的SAM掩码集;
步骤3:以SAM掩码集作为输入到部件感知学习分割网络的部件-整体精炼模块,获得训练集图像的掩码伪标签集和掩码中目标部件与整体之间的关系矩阵;
步骤4:以已知训练集图像、图像级标签,训练集图像的掩码伪标签集和掩码中目标部件与整体之间的关系矩阵作为部件感知学习分割网络的输入,训练部件感知学习分割网络,获取初始部件感知学习分割网络模型;
步骤5:利用初始部件感知学习分割网络模型获取训练集图像中目标掩码的CAM集,并通过阈值分割,得到最终伪标签集;以最终伪标签集作为监督信息,同时训练初始部件感知学习分割网络模型和串联在部件分支网络后端的分割解码器,得到完整的部件感知学习分割网络模型,最终输入待分割图像到完整的部件感知学习分割网络模型,获取待分割图像中的语义分割结果。
2.根据权利要求1所述的方法,其特征在于,所述主干网络由ViT构成;所述分类分支网络包括依次连接的全连接层和分类器。
3.根据权利要求1所述的方法,其特征在于,所述部件-整体精炼模块的工作过程如下:步骤A1:小目标掩码去除;
输入为训练集图像的SAM掩码集计算每个掩码中前景像素的占比U,若占比U低于设定阈值τ,则该掩码被去除,获得输出掩码集其中,Mi表示训练集图像的SAM掩码集中第i个掩码,其中M表示SAM掩码集,i为集合中掩码的索引;K为掩码的总数量;表示输出掩码集中的第i个掩码,其中表示输出掩码集,i为集合中掩码的索引;为输出掩码集中掩码的数量;
步骤A2:高相似度掩码去除;
输入为输出掩码集根据掩码之间的重叠度进行计算,对重叠度超过设定阈值β的掩码,判定其为高相似度掩码并予以剔除,获得训练集图像的伪标签集其中,i,j是中不同的掩码索引,表示其中的第i个掩码和第j个掩码;表示训练集图像的伪标签集中的第i个掩码,为训练集图像的伪标签集中掩码的总数量;其中,和分别表示掩码和掩码的交集和并集区域的大小;通常分别计算两个掩码重叠区域内和覆盖的总区域内像素点的数量;f(i,j)用于判断是否保留掩码;如果不存在另一个掩码,与的重叠度超过阈值β,则f(i,j)=1,且保留掩码否则f(i,j)=1,且去除掩码步骤A3:掩码中目标部件与整体之间的关系矩阵记录;
以训练集图像的伪标签集作为输入,构建该伪标签集的掩码中目标部件与整体之间的关系矩阵;
通过计算掩码间的重叠度,并设定阈值,判断哪些掩码表示的是部件与整体的关系;当训练集图像的伪标签集中的掩码与的重叠部分占的比例大于或等于阈值λ时,为整体掩码,认定是的部件掩码;利用指示函数h(i,j),建立目标与其部件之间的关系矩阵其中,λ是阈值,如果是的部件掩码,则h(i,j)=1;否则h(i,j)=0;通过h(i,j),得到掩码中目标部件与整体之间的关系矩阵
4.根据权利要求3所述的方法,其特征在于,所述部件感知学习模块的工作过程如下:步骤B1:提取嵌入特征;
从Transformer编码器倒数第二层提取的训练集图像嵌入特征通过去除嵌入特征分类标记维度,得到剩余的嵌入特征其中,B、N、E分别表示输入批次的大小、图像被分割成的图像块的数量和每个图像块的特征向量维度,表示实数域;
步骤B2:重塑嵌入特征尺度;
将嵌入特征的形状由B×N×E重新排列为B×C×H×W;接着,将从部件-整体精炼模块中输出的训练集图像的掩码伪标签集与嵌入特征点乘,得到嵌入特征集再将嵌入特征集的形状由B×k×C×H×W重新排列为B×k×N×E;并对中的每一个特征通过1×1滤波层将原通道维度减少到1/k,输出掩码特征集其中,H、W、C分别表示训练集图像的高度、宽度和重塑之后的特征维度,k表示掩码伪标签集中的掩码数量;
步骤B3:掩码特征融合;
对掩码特征集进行平均池化和归一化,得到加权系数
依据关系矩阵对应的整体掩码和部件掩码,得到对应的整体掩码特征和部件掩码特征通过对每个部件掩码特征应用共享的3×3卷积层,进行部件掩码特征更新,并将所有更新后的部件掩码特征与其对应整体掩码特征相加融合,得到融合后的整体掩码特征,再使用另一个共享的3×3卷积层对融合后的整体掩码特征进行更新,从而生成新的整体掩码特征;
整合全部更新后的整体和部件掩码特征,得到新的掩码特征集
通过加权系数W对更新的掩码特征集再进行加权拼接,生成加权掩码特征其中,cat为特征拼接操作;W1、W2、Wk表示加权系数,为更新后的掩码特征集中的掩码特征;
步骤B4:输出图像特征;
对加权掩码特征使用1×1卷积层处理,得到特征再将输出特征与去除掉的类别Token拼接在一起,得到最终的输出特征
5.根据权利要求1所述的方法,其特征在于,将训练集图像输入SAM分割模型,得到训练集图像的SAM掩码集的过程如下:以已知的训练集图像作为输入,首先对训练图像进行预处理,包括图像尺寸调整、图像灰度化与归一化、颜色空间转换操作;然后将预处理后的训练集图像输入到已经预训练的SAM分割模型中,已经预训练的SAM分割模型自动对每张训练图像进行分割,生成多个目标区域的分割掩码,得到训练集图像的SAM掩码集。
6.根据权利要求1所述的方法,其特征在于,所述以已知训练集图像、图像级标签,训练集图像的掩码伪标签集和掩码中目标部件与整体之间的关系矩阵作为部件感知学习分割网络的输入,训练部件感知学习分割网络,获取初始部件感知学习分割网络模型的过程如下:以输入训练集图像作为输入,以图像级标签作为监督信息,训练集图像的掩码伪标签集和掩码中目标部件与整体之间的关系矩阵作为辅助信息,利用联合损失函数,利用分类器训练包含部件感知学习模块的部件感知学习分割网络,得到训练好的初始部件感知学习分割网络模型。
7.根据权利要求6所述的方法,其特征在于,所述联合损失函数由分类交叉熵损失函数、辅助分类损失函数和对比损失函数构成,公式为:其中,Lall表示联合损失函数,λ1,λ2,λ3用于平衡Lcls、和Lreg的正则化参数;
Lcls表示分类交叉熵损失函数:
其中,是类别c的预测概率,yc是真实标签;C代表类别的数量;
表示辅助分类损失函数:
其中,表示从部件分支网络的特征中获得的预测标签,softmax为激活函数;
Lreg表示对比损失函数:
其中,CosSim()表示余弦相似度计算,N+和N-分别表示正样本对即具有部件关系的样本和负样本对即正样本外的其他样本的数量,表示掩码特征集的元素。
8.根据权利要求7所述的方法,其特征在于,以最终伪标签集作为监督信息,计算分割损失函数,并基于联合损失函数加上分割损失函数,同时训练初始部件感知学习分割网络和串联在部件分支网络后端的额外分割解码器,得到完整的部件感知学习分割网络模型;最终输入待分割图像到完整的部件感知学习分割网络模型,推理并获取待分割图像中的语义分割结果。
9.一种基于部件感知学习分割模型的弱监督语义分割系统,其特征在于,包括:网络构建模块:用于构建部件感知学习分割网络;
所述部件感知学习分割网络包括串联的部件-整体精炼模块和主干网络,以及分类分支网络和部件分支网络;分类分支网络和部件分支网络并联后串接在主干网络后端;
所述部件分支网络包括依次连接的部件感知学习模块、Transformer Encoder模块、全连接层和分类器;所述部件感知学习模块,包括依次串联的提取嵌入特征单元,重塑嵌入特征尺度单元,掩码特征融合单元,以及输出图像特征单元;
SAM掩码集获取模块:将训练集图像输入SAM分割模型,得到训练集图像的SAM掩码集;
部件-整体精炼模块:包括依次串联的去除小目标掩码单元、去除高相似度掩码单元和记录掩码中目标部件与整体之间的关系矩阵单元,以SAM掩码集作为输入,获得训练集图像的掩码伪标签集和掩码中目标部件与整体之间的关系矩阵;
分割网络训练模块:利用已知训练集图像、图像级标签、掩码伪标签集和掩码中目标部件与整体之间的关系矩阵,训练部件感知学习分割网络,获取初始部件感知学习分割网络模型;
分割结果优化模块:利用初始部件感知学习分割网络模型获取训练集图像中目标掩码的CAM集,并通过阈值分割,得到最终伪标签集;以最终伪标签集作为监督信息,同时训练初始部件感知学习分割网络和串联在部件分支网络后端的分割解码器,得到完整的部件感知学习分割网络模型,输入待分割图像到完整的部件感知学习分割网络模型,获取待分割图像中的语义分割结果。
10.一种计算机存储介质,其特征在于:存储了计算机程序,所述计算机程序被处理器调用以实现:权利要求1-8任一项所述方法的步骤。