1.一种基于RGB-D多通道信息融合的显著性检测方法,其特征在于,包括以下步骤:
步骤一:获取训练模型数据集,对获取的数据集进行分级处理,使数据集中包含成对的彩色图像和深度图像以及其对应的显著性图像;
步骤二:通过对获取的数据集中的图片进行随机水平移动、随机旋转和缩放的预处理,来对数据集进行数据增强;
步骤三:将数据增强后的数据集中的彩色模态图和深度模态图同时输入网络,对网络进行端到端的训练;
步骤四:通过编码器网络提取彩色模态图的特征,得到彩色模态图特征,通过编码器网络提取深度模态图的特征,得到深度模态图特征;
步骤五:选取彩色模态图特征和其对应的深度模态图特征中由编码器网络提取的后两层输出特征,输入到RGB-D融合网络并拼接,实现网络的跨模态特征融合,得到RGB-D融合网络特征,所述跨模态特征融合的具体步骤为:S1、先将第i个彩色模态图特征提取网络的特征和第i个深度模态图特征提取网络的特征输入到RGB-D融合网络,再使用全局平均池化层来获得彩色模态图特征和深度模态图特征的全局统计信息,再将两个特征送到全连接层并通过一个softmax激活函数来获得注意力向量,其中彩色模态图特征提取的注意力向量记为深度模态图特征提取的注意力向量记为接着,注意力向量以逐通道相乘的方式应用于输入特征,得到S2、将和通过一个最大化函数进行聚合,并保存重要信息,接着通过一个标准操作N(.)将输出标准化到0-1,得到彩色模态图特征和深度模态图特征融合的注意力向量,记为表示为S3、最后将融合的注意力向量与输入的特征提取网络的特征逐通道相乘,再与和分别求和,得到将求和得到的两个特征向量串联,输入到一个1*1的卷积层,生成最终的RGB-D融合特征步骤六:将提取的彩色模态图特征、深度模态图特征以及RGB-D融合网络特征分别输入到解码器进行解码,得到三个特征下的显著性预测数据;
步骤七:将解码器解码得到的三个特征下的显著性预测数据进行聚合,生成显著性检测结果。
2.根据权利要求1所述的一种基于RGB-D多通道信息融合的显著性检测方法,其特征在于:所述步骤一中,获取的数据集为公开数据集COM15k,所述公开数据集COME15K包含15625个图像对,并提供二值注释、实例及注释。
3.根据权利要求1所述的一种基于RGB-D多通道信息融合的显著性检测方法,其特征在于:所述步骤一中,分级处理后的数据集分为简单、容易、困难三个级别,训练模型时先用简单的数据集,再用容易的数据集,最后用困难的数据集。
4.根据权利要求1所述的一种基于RGB-D多通道信息融合的显著性检测方法,其特征在于:所述步骤二中,所述数据集中的图片进行随机水平移动、随机旋转和缩放的预处理后,统一化为长224*宽224*通道数3的图片。
5.根据权利要求1所述的一种基于RGB-D多通道信息融合的显著性检测方法,其特征在于:所述步骤四中,两个编码器网络架构相同,且不共享权重。
6.根据权利要求1所述的一种基于RGB-D多通道信息融合的显著性检测方法,其特征在于:所述步骤六中,所述解码器采用级联部分解码器,且只关注解码后的后三层高级语义信息,将后三层网络提取的特征进行聚合、解码,得到一个初级的特征图。