1.一种类别弱监督的RGB-D图像显著物体检测方法,其特征在于,包括训练阶段和更新阶段;
所述训练阶段由伪标签监督图像显著物体检测模型训练以输出显著图;
在所述训练阶段中,输入图像x经基于中心-暗通道先验的传统图像处理方法产生初始的伪标签;
同时由类别标签、伪标签监督视觉-语言匹配模型训练以输出类别相似度向量和类别感知显著图;
所述更新阶段中,先将输入图像在类别感知显著图掩码与伪标签掩码下分别形成两组掩码图像,再将两组所述掩码图像输入视觉 - 语言匹配模型得到对应类别相似度向量,根据类别标签分别得到类别感知显著图的置信度分数与伪标签的置信度分数,最后以所述置信度分数为权重加权求和类别感知显著图和伪标签以更新伪标签;
在获取置信度分数过程中,根据类别标签,从两组类别相似度向量中分别索引获取类别相似度向量中的对应位置,读取并提取该位置的数值,将获取的两组数值进行归一化操作,最终输出的两组概率值,分别作为类别感知显著图的置信度分数与伪标签的置信度分数;
所述更新阶段发生在所述训练阶段的过程中;
测试阶段中,对任意输入的RGB-D图像,使用训练好的所述图像显著物体检测模型进行测试,输出最终的显著图。
2. 根据权利要求1所述的一种类别弱监督的RGB-D图像显著物体检测方法,其特征在于, 在所述训练阶段中,由伪标签监督所述图像显著物体检测模型的训练,输出显著图;
;
其中函数的第一个参数表示模型的图像输入,第二个参数表示模型训练的监督信号,函数返回模型的输出:显著图;
同时由类别标签、伪标签监督视觉-语言匹配模型的训练,输出类别相似度向量和类别感知显著图;
;
其中函数的第一个参数表示模型的图像输入,第二个参数表示训练集中所有的显著类别形成的文本输入,第三个参数表示模型的监督信号类别标签,第四个参数表示模型的监督信号伪标签,函数返回的是模型的两个输出:类别相似度向量和类别感知显著图;所述第二个参数在整个训练过程中固定不变。
3.根据权利要求1所述的一种类别弱监督的RGB-D图像显著物体检测方法,其特征在于,在所述更新阶段中,利用类别感知显著图掩码下和伪标签掩码下的图像的两组类别相似度向量分别加权求和类别感知显著图和伪标签,以此结果更新伪标签的具体过程如下:首先,输入图像在类别感知显著图的掩码与伪标签的掩码下,分别形成类别感知显著图掩码图像和伪标签掩码图像;
;
其中表示类别感知显著图或伪标签,是指高斯平滑操作,是指卷积操作;
其次,所述类别感知显著图掩码图像和伪标签掩码图像送入视觉-语言匹配模型进行测试,输出所述类别感知显著图掩码图像和伪标签掩码图像对应的类别相似度向量;
;
其中模型的第三、四个参数为空,表明此处为测试,无需监督信号,第二个输出被忽略;
然后,根据类别标签指示的分类相似度去形成类别感知显著图与伪标签的置信度分数和;
;
其中是指取出类别相似度向量中类别标签所在的位置上的值,表示softmax函数;
最后,以所述置信度分数作为权重,分别加权求和类别感知显著图和伪标签,形成更新的伪标签,有:。
4.根据权利要求1所述的一种类别弱监督的RGB-D图像显著物体检测方法,其特征在于,所述更新阶段发生在所述训练阶段的过程中;在经历次训练之后,做1次更新,权衡模型表现和时间代价,取3。
5.根据权利要求2所述的一种类别弱监督的RGB-D图像显著物体检测方法,其特征在于,所述图像显著物体检测模型采用RGB-D图像四通道输入融合的U-Net结构。
6.根据权利要求2所述的一种类别弱监督的RGB-D图像显著物体检测方法,其特征在于,所述图像显著物体检测模型的损失函数定义如下:;
其中表示像素位置感知损失函数,用于计算显著图与伪标签之间的像素位置匹配损失。
7.根据权利要求2所述的一种类别弱监督的RGB-D图像显著物体检测方法,其特征在于,所述视觉-语言匹配模型,由视觉编码器和语言编码器组成;所述视觉编码器和语言编码器采用CLIP的视觉编码器和语言编码器;所述视觉编码器编码输入图像,形成高层特征,经全局平均池化GAP操作后形成全局特征,二者经过多头自注意力MHSA操作形成高层信号和全局信号;
;
;
;
所述语言编码器编码训练集中的所有显著类别文本,形成类别文本特征;
;
其中,表示个显著类别的文本表示;
将类别文本特征与高层信号做相似度计算,形成类别相似度矩阵;
;
所述类别相似度矩阵与所述高层特征经级联Concatenation操作后,送入解码器Decoder产生类别感知显著图;所述解码器Decoder为从高层向低层逐级级联、反卷积操作;
;
同时,将类别文本特征与全局信号做相似度计算,形成类别相似度向量;
。
8.根据权利要求2所述的一种类别弱监督的RGB-D图像显著物体检测方法,其特征在于,所述视觉-语言匹配模型的损失函数定义如下:;
其中表示像素位置感知损失函数,用于计算显著图与伪标签之间的像素位置匹配损失,是交叉熵损失。