欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023109335917
申请人: 河南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于语义信息引导的显著性目标检测方法,其特征在于,该方法包括以下步骤:构建基于语义信息引导的显著性目标检测模型;

建立RGB显著性图像的数据集;将数据集中所有图片裁剪成为相同尺寸的图片,将裁剪后的所有图片作为显著性图像数据集;把显著性图像数据集内的图片分为显著性目标检测模型的训练集、验证集和测试集;

训练构建显著性目标检测模型;

将测试集输入训练好的显著性目标检测模型,测试显著性目标检测模型的性能,得到四个评估指标;

当四个评估指标满足实际应用需求,将对应的显著性目标检测模型用于图像的显著性目标检测;否则,调整显著性目标检测模型训练时的学习率,重新训练显著性目标检测模型,直至显著性目标检测模型的四个评估指标满足实际应用需求,将对应的显著性目标检测模型用于图像的显著性目标检测;

其中,构建基于语义信息引导的显著性目标检测模型,包括:

步骤1.1:将RGB图像输入到PVTv2主干网络中并提取四个阶段的图像特征,生成第一层、第二层、第三层和最高层显著图像的特征表示;

步骤1.2:在最高层引入注意力模块,所述注意力模块包括通道注意力模块和空间注意力模块,提取最高层特征丰富的语义信息,并生成最高层特征图;

步骤1.3:构建高层次特征引导模块,将生成的第一层、第二层和第三层显著图像的特征表示分别与步骤1.2提取的语义信息作为输入送到高层次特征引导模块,增强低层特征表示,并生成三个层级的显著特征图;

步骤1.4:构建自适应特征融合模块,其输入包括来自最高层输出的高级特征、高层次特征引导模块生成的三个层级显著特征图,通过在融合过程中加入可学习权重系数,生成粗略显著特征;

步骤1.5:构建自顶向下相关性聚合模块,通过步骤1.1生成的特征图引导自适应特征融合模块生成的粗略显著特征,提高显著特征位置及局部细节的准确性;

其中,步骤1.3还包括:

步骤1.3.1:将最高层特征分别与其他各层特征输入到模块中,其中表示层数且;

步骤1.3.2:对最高层特征使用全局自适应池化,捕捉整个特征图的全局信息,如公式(1)所示:(1)

其中,表示最高层特征的通道统计量;中表示通道数;分别是最高层特征在每一层的空间横纵坐标;和表示最高层特征图的高度和宽度;和中的表示最高层数;

步骤1.3.3:将得到的语义信息与低层特征表示进行逐元素相乘,并在通道维度上求和得到相关性矩阵;通过Sigmoid函数在空间上生成概率系数,再与低层特征表示相乘,得到引导后的低层特征,如公式(2)所示:(2)

其中是引导后的低层特征,是卷积层,是Sigmoid运算,表示逐元素的乘法;为第n层特征。

2.根据权利要求1所述的一种基于语义信息引导的显著性目标检测方法,其特征在于,所述构建自适应特征融合模块,其输入包括来自最高层输出的高级特征、高层次特征引导模块生成的三个层级显著特征图,通过在融合过程中加入可学习权重系数,生成粗略显著特征,包括:步骤1.4.1:将来自最高层输出的高级特征、高层次特征引导模块生成的三个层级的显著特征图,输入到自适应特征融合模块中;

步骤1.4.2:在融合过程中对自适应特征融合模块中的输入特征分别乘上自适应权重系数和,其中,得到融合后的显著特征,如公式(3)所示:(3)

其中为经过融合后的粗略显著特征,表示融合过程中来自上一层输出的高级特征,表示上采样操作,表示按元素进行加法;是低层通过这个过程得到的特征。

3.根据权利要求1所述的一种基于语义信息引导的显著性目标检测方法,其特征在于,所述构建自顶向下相关性聚合模块,通过步骤1.1生成的特征图引导自适应特征融合模块生成的粗略显著特征,提高显著特征位置及局部细节的准确性,包括:步骤1.5.1:将输入的粗略显著特征分别传递到三个不同的卷积层中得到特征映射,,,其中;

步骤1.5.2:将步骤1.1生成的特征图进行Sigmoid操作后与,,相乘来构建,,矩阵,其中;

步骤1.5.3:将,,矩阵重塑为,其中为像素数,之后将的转置与相乘并通过一个softmax层得到注意力图,如公式(4)所示:(4)

其中,表示第个位置与第个位置的相关性;exp为以自然常数e为底数的指数函数;为Q矩阵的转置矩阵的第i个位置处的元素值;为K矩阵的第j个位置处的元素值;

步骤1.5.4:将得到的特征映射与矩阵相乘,再重塑成乘以尺度参数,并与特征进行逐元素求和运算,得到最终输出。

4.根据权利要求1所述的一种基于语义信息引导的显著性目标检测方法,其特征在于,所述训练构建显著性目标检测模型,包括:步骤3.1:设置训练参数;训练批次的大小设置为Batch size=8,学习率初始设定为Ir=0.0001,训练迭代次数Epoch=200;

步骤3.2:将建立的显著性图像数据集送入显著性目标检测模型并按照步骤3.1所设定的参数进行训练;

步骤3.3:利用Adam随机优化算法对步骤3.2所训练的显著性目标检测模型进行随机梯度下降来不断优化损失函数,根据训练集和验证集交叉验证的损失变化趋势,直至损失变化逐步趋于稳定的状态,确定最优权重。

5.根据权利要求1所述的一种基于语义信息引导的显著性目标检测方法,其特征在于,所述将测试集输入训练好的显著性目标检测模型,测试显著性目标检测模型的性能,得到四个评估指标,包括:将测试集输入训练好的显著性目标检测模型,测试显著性目标检测模型的性能,得到MAE、F-measure、E-measure和S-measure四个评价指标。