1.一种显著性目标检测方法,其特征在于,包括:获取待检测图像;
通过编码器对所述待检测图像提取RGB特征和深度特征;
通过注意力特征增强模块分别对RGB特征和深度特征的高级特征进行特征增强;
将提取的RGB特征和深度特征输入跨模态融合模块,对所述RGB特征和深度特征进行加强和融合;
利用边缘提取模块生成所述深度特征中的显著物体的边缘信息;
将加强和融合后的RGB特征和深度特征输入多尺度特征聚合模块,进行多尺度特征聚合,得到多级融合特征;
将所述多级融合特征输入级联校正解码器,对所述多级融合特征进行细化和校正,生成显著特征,然后利用边缘信息增强显著特征,生成最终的显著图;
通过注意力特征增强模块分别对RGB特征和深度特征的高级特征进行特征增强,包括:RGB流编码器和深度流编码器的尾部分别加入注意力特征增强模块,利用注意力特征增强模块对高级特征进行卷积核大小为3,膨胀率为2,4,6的三种膨胀卷积,以及1x1的卷积和全局平均池化操作,获得多尺度特征;
对多尺度特征进行自注意力机制运算,获取全局上下文信息;
将经过自注意力机制、1x1的卷积以及全局平均池化之后的特征图进行拼接,得到增强之后的特征;
将提取的RGB特征和深度特征输入跨模态融合模块,对所述RGB特征和深度特征进行加强和融合,包括:跨模态特征融合模块包括深度特征增强模块,深度特征增强模块使用空间注意力机制计算RGB特征和深度特征共同的空间注意力图;
将空间注意力图作为深度特征的权重,使用原始深度特征与空间注意力图进行残差连接;
使用通道注意力机制计算通道注意力图;
将通道注意力图与原始深度特征进行相乘,得到增强之后的深度特征;
将特征增强后的RGB特征和深度特征输入跨模态融合模块,对所述RGB特征和深度特征进行加强和融合,包括:跨模态特征融合模块包括RGB特征增强模块,RGB特征增强模块使用空间注意力机制计算RGB特征和深度特征共同的空间注意力图;
将空间注意力图作为RGB特征的权重,使用原始RGB特征与空间注意力图进行残差连接;
使用通道注意力机制计算通道注意力图;
将通道注意力图与原始RGB特征进行相乘,得到增强之后的RGB特征;
将特征增强后的RGB特征和深度特征输入跨模态融合模块,对所述RGB特征和深度特征进行加强和融合,包括:跨模态特征融合模块包括融合块,通过融合块将增强之后的深度特征和RGB特征进行融合;
利用边缘提取模块生成所述深度特征中的显著物体的边缘信息,包括:对深度特征进行1x1的卷积和上采样操作,生成两个尺度相同的特征;
将所述两个尺度相同的特征拼接起来生成边缘特征;
对所述边缘特征进行通道注意力机制和残差连接,生成边缘信息;
将所述多级融合特征输入级联校正解码器,对所述多级融合特征进行细化和校正,生成显著特征,包括:级联校正解码器包括第一子解码器和第二子解码器,第一子解码器和第二子解码器分别包含三个多尺度特征聚合模块,级联校正解码器包括自下而上和自上而下两个过程;
对于自下而上的过程,子解码器中的多尺度特征聚合模块从高级特征逐渐聚合到低级特征,聚合的特征被用来产生粗糙的显著图,同时对此显著图进行监督;
对于自上而下的过程,第一子解码器中顶端多尺度特征聚合模块输出的特征被直接降采样为特征,并且将其添加到多尺度特征聚合模块导出的多级特征中,以进行细化和校正;
将纠正后的特征发送到下一个子解码器,以通过相同的过程,生成信息完整的特征;
根据信息完整的特征生成显著图。
2.如权利要求1所述的一种显著性目标检测方法,其特征在于,通过编码器对所述待检测图像提取RGB特征和深度特征,包括:编码器包括RGB流编码器和深度流编码器,RGB流编码器和深度流编码器用Swin-B作为骨干网路分别提取RGB图和深度图的多层次特征。
3.如权利要求1所述的一种显著性目标检测方法,其特征在于,将加强和融合后的RGB特征和深度特征输入多尺度特征聚合模块,进行多尺度特征聚合,得到多级融合特征,包括:对高级特征进行上采样、3x3的卷积以及调整通道数的操作;
通过元素相乘的方式让高级特征与低级特征进行特征变换和融合,得到融合特征,融合特征具有高级特征和低级特征的特性;
采用通道注意力机制对融合特征进行细化,得到多级融合特征。
4.一种显著性目标检测装置,用于实现如权利要求1所述的显著性目标检测方法,其特征在于,包括:图像获取模块,用于获取待检测图像;
编码器,用于对所述待检测图像提取RGB特征和深度特征;
注意力特征增强模块,用于分别对RGB特征和深度特征的高级特征进行特征增强;
跨模态融合模块,用于对所述RGB特征和深度特征进行加强和融合;
边缘提取模块,用于生成所述深度特征中的显著物体的边缘信息;
多尺度特征聚合模块,用于对加强和融合后的RGB特征和深度特征进行多尺度特征聚合,得到多级融合特征;
级联校正解码器,用于对所述多级融合特征进行细化和校正,生成显著特征,然后利用边缘信息增强显著特征,生成最终的显著图。