1.一种基于多特征融合的显著性检测方法,其特征在于:包括以下步骤:步骤1,构建深度神经网络获取图像浅层特征;
步骤1.1,构造U型深度神经网络;
步骤1.2,构造Z型残差模块;
步骤2,构建深度神经网络获取图像深层特征;
步骤2.1构造I型深度神经网络;
步骤2.2构造编码模块DE;
步骤3,双层特征融合;
步骤3.1构造特征融合模块;
步骤4,构建神经网络损失函数,训练深度神经网络;
步骤4.1构建神经网络损失函数;
步骤4.2使用公开的、自然场景下的图像数据集,训练构造好的神经网络步骤5,利用训练好的网络模型,对输入图像进行显著性目标检测;
步骤5.1构造测试图像数据集,使用训练好的神经网络进行显著性目标检测;
步骤5.2使用三种评价指标,对训练好的神经网络进行性能评估。
2.根据权利要求1所述的一种基于多特征融合的显著性检测方法,其特征在于:所述步骤1.1构造U型深度神经网络,还包括以下步骤:步骤1.1.1构造编码模块SE:包含6个编码块即SE1~SE6,编码块之间顺序连接,其中每一个编码块均包括Z型残差模块和最大池化层;
步骤1.1.2构造连接模块L:包含1个连接块,连接块由顺序连接的3个Z型残差模块组成;
步骤1.1.3构造解码模块DM:包含6个解码块即DM1~DM6,每个解码块由顺序连接的通道连接层、Z型残差模块和双线性上采样层组成;
步骤1.1.4构造多尺度输出模块,包含1个卷积层和1个双线性上采样层。
3.根据权利要求2所述的一种基于多特征融合的显著性检测方法,其特征在于:所述步骤1.1.1构造编码模块SE,其具体过程如下:步骤1.1.1.1构造Z型残差模块;
步骤1.1.1.2构造最大池化层;
步骤1.1.1.3将Z型残差模块和最大池化层顺序连接起来组成编码块;
步骤1.1.1.4将构造好的6个编码块SE1~SE6顺序连接起来;
步骤1.1.1.5编码块输出的特征映射通道数从16开始,不断翻倍,直至最后一个编码块变为1024,即为32,64,128,256,512,1024;
所述步骤1.1.2构造L连接模块,其具体过程如下:步骤1.1.2.1构造Z型残差模块;
步骤1.1.2.2将3个相同的Z型残差模块顺序连接起来;
所述步骤1.1.3中所述构造解码模块DM,其具体过程如下:步骤1.1.3.1构造通道连接层;
步骤1.1.3.2构造双线性上采样层;
步骤1.1.3.3将6个解码块连接起来;
步骤1.1.3.4将每个编码块的输出作为输入传到对应的解码块进行连接;
所述步骤1.1.4中所述构造多尺度输出模块,其具体过程如下:步骤1.1.4.1定义卷积层;卷积层的卷积核大小为3×3,步长为1,Padding为1,输出的特征映射通道数对应连接模块和解码模块的输出为1024,512,512,512,256,128,64;
步骤1.1.4.2定义双线性上采样层,对应其输出模块的通道为2,64,32,16,8,4,2;
步骤1.1.4.3将卷积层和双线性上采样层顺序连接;
步骤1.1.4.4将输出模块连接到对应的解码模块。
4.根据权利要求1所述的一种基于多特征融合的显著性检测方法,其特征在于:所述步骤1.1.1.1、步骤1.1.2.1和步骤1.2中构造Z型残差模块的方法相同,其具体过程如下:步骤A定义卷积层,总共有3个卷积层,第一个卷积层的卷积核大小为1×1,步长为1,Padding为0;第二个卷积层的卷积核大小为3×3,步长为1,Padding为1;第三个卷积层的卷积核大小为1×1,步长为1,Padding为0;
步骤B定义批标准化层;
步骤C定义激活函数;
步骤D将卷积层,批标准化层,激活函数顺序连接,通过残差连接组成Z型残差模块。
5.根据权利要求1所述的一种基于多特征融合的显著性检测方法,其特征在于:所述步骤2.1中所述构造I型深度神经网络,其具体过程如下:步骤2.1.1定义6个I型残差模块;
步骤2.1.2将I型残差模块顺序连接。
6.根据权利要求1所述的一种基于多特征融合的显著性检测方法,其特征在于:所述步骤2.1.1中所述构造I型残差模块,其具体过程如下:步骤2.1.1.1定义卷积层,总共有3个卷积层,第一个卷积层的卷积核大小为1×1,步长为1,Padding为0;第二个卷积层的卷积核大小为3×3,步长为1,Padding为1;第三个卷积层的卷积核大小为1×1,步长为1,Padding为0;
步骤2.1.1.2定义批标准化层;
步骤2.1.1.3定义激活函数;
步骤2.1.1.4将卷积层,批标准化层顺序连接,最后增加激活函数,通过残差连接组成I型残差模块。
7.根据权利要求1所述的一种基于多特征融合的显著性检测方法,其特征在于:所述步骤2.2构造编码模块DE:包括依次连接的输入层、深层编码块DE1、深层编码块DE2、深层编码块DE3、深层编码块DE4、深层编码块DE5和深层编码块DE6,其具体步骤如下:步骤2.2.1构造I型残差模块,构造方法和步骤2.1相同;
步骤2.2.2构造深层编码块DE1~DE6:均包括1个I型残差模块。
8.根据权利要求1所述的一种基于多特征融合的显著性检测方法,其特征在于:所述步骤3.1中所述构造特征融合模块,其具体过程如下:步骤3.1.1定义6个分支残差融合块部分;
步骤3.1.2对编码模块所提取的特征进行融合,融合块为CF1~CF6。
9.根据权利要求1所述的一种基于多特征融合的显著性检测方法,其特征在于:所述步骤4.1中所述构建神经网络损失函数,其具体过程如下:步骤4.1.1定义三个不同类型的损失函数lbce、lssim和lDiou,分别为交叉熵损失函数、结构损失函数和交并比损失函数;
步骤4.1.2构造网络的损失函数θZ,具体形式为:θZ=θbce+αθssim+βθDiou,α为结构损失函数的对比系数,β为交并比损失函数的对比系数;
所述步骤4.2中所述使用公开的、真实场景下的图像数据集,训练构造好的神经网络,其具体过程如下:
步骤4.2.1获取公开的、真实场景下的图像数据集;
步骤4.2.2调整网络的损失函数,训练神经网络;
步骤4.2.3不断重复步骤4.2.2,直至模型收敛。
10.根据权利要求1所述的一种基于多特征融合的显著性检测方法,其特征在于:所述步骤5.1中所述构造测试图像数据集,使用训练好的神经网络进行显著性目标检测,其具体过程如下:
步骤5.1.1从获取到的图像数据集中挑选部分图像作为测试集;
步骤5.1.2使用训练好的神经网络进行显著性目标检测;
所述步骤5.2中所述使用三种评价指标,对训练好的神经网络进行性能评估,其具体过程如下:
步骤5.2.1挑选三种评价指标,分别为S指标、MAX‑F指标和平均绝对误差指标;
步骤5.2.2对训练好的神经网络进行性能评估,进行实验结果的统计。