欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2023102900795
申请人: 盐城工学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-09-12
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种融合混合注意力的显著性目标检测方法,其特征在于,包括:

获取显著性目标检测的RGB图片和一个与原始图像大小相同的二值图像即对应的标签图,并输入预训练好的显著性目标检测模型,获得显著性目标检测结果;其中,所述显著性目标检测模型包括:依次连接特征提取模块、混合注意力模块、多尺度特征融合模块、特征增强融合模块、预测输出模块;

特征提取模块:用来获得输入的RGB图像的多尺度特征;

混合注意力模块:加强网络对显著目标区域的关注,得到显著目标特征更明显的特征图;

多尺度特征融合模块:用来减少因卷积和上采样导致的信息丢失,同时加强显著性目标检测模型对目标区域的关注,从而获得更加明显的显著目标信息;

特征增强融合模块:用来融合相邻特征层的特征信息,最终得到一个包含局部细节信息和全局语义信息的特征层;

预测输出模块:利用两种损失函数,从不同层面监督模型训练,以突出显著性目标区域,从而得到最终的显著性目标检测预测图。

2.如权利要求1所述的一种融合混合注意力的显著性目标检测方法,其特征在于,所述特征提取模块包括:依次连接的卷积和最大池化操作;

所述特征提取模块以VGG16作为主干网络,为了减少信息损失,将其提取部分修改成完全卷积网络,保留前13个卷积层并去除最后两个全连接层和最后一个池化层;

利用VGG16模型在特征提取阶段依次做以下操作:两次3×3卷积、一次最大池化;两次3×3卷积、一次最大池化;三次3×3卷积、一次最大池化;三次3×3卷积、一次最大池化;三次

3×3卷积;最后输出5个不同的特征层feat1、feat2、feat3、feat4、feat5,分别为512×512×64,256×256×128,128×128×256,64×64×512,32×32×512。

3.如权利要求1所述的一种融合混合注意力的显著性目标检测方法,其特征在于,所述混合注意力模块包括:依次连接的改进的高效通道注意力单元和空间注意力单元;

改进的高效通道注意力单元实现过程分为三部分:

第一部分:先对输入的特征图进行全局最大池化,将特征图从[h,w,c]的矩阵变成[1,

1,c]的向量;其次通过计算得到自适应的一维卷积核大小kernel_size;接着将利用卷积核大小为kernel_size的一维卷积,得到特征图的每个通道的权重;

第二部分:先对输入的特征图进行全局平均池化,将特征图从[h,w,c]的矩阵变成[1,

1,c]的向量;其次通过计算得到自适应的一维卷积核大小kernel_size;接着将利用卷积核大小为kernel_size的一维卷积,得到特征图的每个通道的权重;

第三部分:先将前两部分的归一化权重进行相加,然后加入非线性因素,提高神经网络对模型的表达能力,最后将相加后的权重与输入特征图进行逐通道相乘,得到加权后的特征图;

空间注意力单元实现过程为:首先对输入的特征图进行最大池化处理;其次对输入的特征图进行平均池化处理;接着将两次处理结果进行通道维度的堆叠,获得更丰富的特征表示;然后利用1×1卷积将堆叠后的通道数调整为输入特征图的通道数,并进行权重归一化操作,获得归一化权重;最后,将归一化权重与输入特征图进行相乘,得到最终的特征图;

混合注意力模块实现过程为:先将待处理的特征层输入到改进的高效通道注意力模块,得到加权后的特征图;然后将加权后的特征图传输到空间注意力模块,得到最终的特征图。

4.如权利要求1所述的一种融合混合注意力的显著性目标检测方法,其特征在于,所述多尺度特征融合模块包括:多尺度特征融合模块由改进的高效通道注意力、空间注意力和不同采样率卷积组成,根据不同特征层的特点主要分为两部分:第一部分:首先,利用1×1卷积、3×3卷积、5×5卷积对特征层进行不同采样率卷积的并行采样,同时为了减少模型的计算量和参数量,用3×1卷积加1×3卷积代替3×3卷积,用

5×1卷积加1×5卷积代替5×5卷积;其次,将得到的结果拼接到一起,扩大通道数,并利用

1*1卷积调整通道数;接着,利用改进版的高效通道注意力加强网络对显著区域通道信息的关注,得到更明显的显著特征;然后,将经过并行采样和注意力加强的两个结果进行拼接,扩大通道数;最后,利用两次3×3卷积,对上述结果进行深层融合和通道的调整;

第二部分:首先,利用1×1卷积、3×3卷积、5×5卷积对特征层进行不同采样率卷积的并行采样,同时为了减少模型的计算量和参数量,用3×1卷积加1×3卷积代替3×3卷积,用

5×1卷积加1×5卷积代替5×5卷积;其次,将得到的结果拼接到一起,扩大通道数,并利用1×1卷积调整通道数;接着,利用空间注意力加强网络对显著区域空间信息的关注,得到更明显的显著特征;然后,将经过并行采样和注意力加强的两个结果进行拼接,扩大通道数;

最后,利用1×1卷积,对上述结果进行信息融合和通道调整。

5.如权利要求1所述的一种融合混合注意力的显著性目标检测方法,其特征在于,所述特征增强融合模块包括:特征增强融合模块由上采样、残差结构、拼接和混合注意力模块组成,根据不同特征层的特点主要分为四部分:第一部分:第一,将layer5经过多尺度特种融合模块1得到的特征层进行上采样得到P5_up,P5_up的分辨率和layer4一样;第二,将layer4和P5_up进行拼接,扩大通道;第三,利用1×1卷积调整通道数,减少模型的参数量和计算量;第四,利用混合注意力模块对特征信息进一步的融合和增强;第五,将第四步得到的结果与layer4进行残差拼接,丰富特征层的信息;第六,利用两次3*3卷积对特征信息进行进一步的融合,同时调整通道数;

第二部分:第一,将layer4处理后的结果进行上采样得到P4_up,P4_up的分辨率和layer3一样;第二,将layer3和P4_up进行拼接,扩大通道;第三步到第六步的步骤和第一部分此处的步骤一致;

第三部分:第一,将layer3处理后的结果进行上采样得到P3_up,P3_up的分辨率和layer2一样;第二,将layer2经过多尺度特征融合模块的结果与P3_up进行拼接,扩大通道数;第三,利用1×1卷积调整通道数,减少模型的参数量和计算量;第四,利用混合注意力模块对特征信息进一步的融合和增强;第五,利用两次3*3卷积对特征信息进行进一步的融合,同时调整通道数;

第四部分:第一,将layer2经过处理后的结果进行上采样得到P2_up,P2_up的分辨率和layer1一样;第二,将layer1和P2_up进行拼接,扩大通道;第三步到第六步和第一部分此处的步骤一致;第七,混合注意力模块进一步加强显著目标特征。

6.如权利要求1所述的融合混合注意力的显著性目标检测方法,其特征在于,所述预训练好的显著性目标检测模型的获取步骤包括:准备训练所需的训练样本集;其中,所述训练样本集中的每个样本均包括RGB样本图像和对应的真值显著图;

基于所述训练样本集对初始显著性目标检测模型进行训练,初始显著性目标检测模型的损失函数值达到预设收敛条件后,获得所述预训练好的显著性目标检测模型;

其中,所述损失函数值为每个样本的RGB样本图像的预测显著性图像与所述RGB样本图像对应的真实显著性图像之间的损失函数值;损失函数值采用两种不同的损失函数求和获得,两种损失函数依次为CEL损失和BCE损失。

7.如权利要求6所述的融合混合注意力的显著性目标检测方法,其特征在于,所述基于所述训练样本集对初始显著性目标检测模型进行训练时,采用随机梯度下降算法进行模型参数优化。

8.如权利要求1所述的融合混合注意力的显著性目标检测方法,其特征在于,获取显著性目标检测的RGB图片和对应的标签图,包括:获取动物区域最近预设的时间内的动物历史轨迹;

获取动物拍摄任务;

基于所述拍摄任务和所述动物历史轨迹,确定拍摄移动路线;

基于所述拍摄移动路线,控制所述动物区域内的移动拍摄设备执行所述动物拍摄任务;

获取所述移动拍摄设备回传的显著性目标检测的RGB图片和对应的标签图。

9.如权利要求8所述的融合混合注意力的显著性目标检测方法,其特征在于,所述基于所述拍摄任务和所述动物历史轨迹,确定拍摄移动路线,包括:从所述拍摄任务中提取拍摄时间区间和拍摄对象;

基于预设的区间扩大规则,将所述拍摄时间区间扩大成目标时间区间;

从所述动物历史轨迹中确定所述拍摄对象的落在所述目标时间区间内的目标轨迹;

获取所述动物区域对应的预设的区域地图;

将所述目标轨迹映射进所述区域地图中;

基于拍摄点标记规则,在所述区域地图中标记拍摄点;

在所述区域地图中以所述拍摄点为圆心,预设长度长为半径作圆形范围;

确定所述目标轨迹落入所述圆形范围的局部轨迹;

计算全部所述局部轨迹的轨迹产生时间的平均时间,并与对应所述拍摄点进行关联;

基于各一一关联的所述拍摄点和所述拍摄时间,生成拍摄移动路线;

其中,所述拍摄点标记规则包括:

所述区域地图中至少有一个所述目标轨迹与所述拍摄点之间的最小距离小于等于预设的第一距离阈值;

两两相邻所述拍摄点之间的直线距离落在预设的距离区间内。

10.如权利要求9所述的融合混合注意力的显著性目标检测方法,其特征在于,所述拍摄点标记规则还包括:获取所述拍摄对象对应的预设的标准区域类型库,从所述区域地图中确定所述标准区域类型库中任一区域类型的第一区域边界,所述拍摄点与所述第一区域边界之间的最小距离大于等于预设的第二距离阈值;

获取所述所述移动拍摄设备对应的预设的标准区域库,从所述区域地图中确定所述标准区域库中任一标准区域的第二区域边界,所述拍摄点与所述第二区域边界之间的最小距离大于等于预设的第三距离阈值。