欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023107195902
申请人: 江苏河海科技园有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于transformer和多特征聚合的隐蔽目标检测方法,包括以下步骤:步骤1) 采集检测图像,输入到去除了最后一个分类层的金字塔transformer,通过预先训练好的基于transformer的特征提取模块,得到四个不同尺度的主干特征{Fi,i=1,2,3,4},i是特征的级别;

步骤2) 将步骤1)得到的最高级主干特征F4输入基于感受野的特征增强模块,据膨胀卷积可有效扩大感受野的作用,将F4并行输入进不同分支,利用不同膨胀率的膨胀卷积扩大感受野,各个分支的输出相加,激活后通过通道降维得到单通道的增强特征Fglo;

步骤3) 通过插值操作将步骤2)输出的增强特征Fglo大小调整至与原始图像大小一致,得到增强特征图Pglo;

步骤4) 将步骤1)得到的最低级主干特征F1输入基于坐标的注意力模块,利用两个一维的池化核在水平和垂直两个方向编码,捕获长距离依赖关系,再与F1相乘增强特征的表示能力,得到坐标特征Fpos;

步骤5) 利用一个1个1×1卷积将步骤4)输出的坐标特征Fpos通道数降为1,再通过插值操作调整图像尺寸,得到坐标特征图Ppos;

步骤6) 将步骤1)得到的主干特征F3、步骤2)得到的增强特征Fglo、步骤4)得到的坐标特征Fpos输入到第一个基于反向引导的多特征融合模块,通过反向挖掘Fglo得到反向引导信息,利用分组融合将F3与反向引导信息融合,将Fpos作为位置信息补充,实现多特征的有效融合,得到初级目标特征F3cam;

步骤7) 通过插值操作将步骤6)得到的初级目标特征F3cam尺寸调整至与原始图像相同,得到初级隐蔽目标检测图P3cam;

步骤8) 将步骤6)得到的初级目标特征F3cam与步骤2)得到的增强特征Fglo相加,得到融合的增强特征F’glo;

步骤9) 将步骤1)得到的主干特征F2、步骤8)得到的融合的增强特征F’glo、步骤4)得到的坐标特征Fpos输入到第二个基于反向引导的多特征融合模块,通过反向挖掘F’glo得到反向引导信息,利用分组融合将F2与反向引导信息融合,将Fpos作为位置信息补充,实现多特征的有效融合,得到最终目标特征F2cam;

步骤10) 通过插值操作将步骤9)得到的最终目标特征F2cam尺寸调整至原始图像相同,得到最终隐蔽目标检测图P2cam。

2.根据权利要求1所述的一种基于transformer和多特征聚合的隐蔽目标检测方法,其特征在于,在所述步骤2)中,将步骤1)得到的最高级主干特征F4输入5个并行的分支,具体包括:步骤21) 快捷分支利用一个1×1卷积将通道数减少到64,降低计算量;

步骤22) 第一个级联分支利用一个1×1卷积减少通道数和一对1×3、3×1非对称卷积加快推理速度;

步骤23) 第二个级联分支首先经过一个1×1卷积实现通道降维,然后与步骤22)的输出相加,经过一对1×3、3×1非对称卷积增加推理速度,最后经过一个膨胀率为3的3×3膨胀卷积扩大感受野;

步骤24) 第三个级联分支首先经过一个1×1卷积实现通道降维,然后与步骤23)的输出相加,经过一对1×5、5×1非对称卷积增加推理速度,最后经过一个膨胀率为5的5×5膨胀卷积模块扩大感受野;

步骤25) 第四个级联分支首先经过一个1×1卷积实现通道降维,然后与步骤24)的输出相加,经过一对1×7、7×1非对称卷积增加推理速度,最后经过一个膨胀率为7的7×7卷积膨胀模块扩大感受野;

步骤26) 将步骤22)、步骤23)、步骤24)、步骤25)的输出连接,再经过一个3×3卷积调整特征图的大小,再与步骤21)的输出相加,Relu函数激活后利用1个1×1卷积通道降维得到增强特征Fglo。

3.根据权利要求1所述的一种基于transformer和多特征聚合的隐蔽目标检测方法,其特征在于,在所述步骤4)中,将步骤1)得到的最低级主干特征F1输入基于坐标的注意力模块,包括以下步骤:步骤41) 为避免将全局空间信息压缩至通道描述符时出现难以保存位置信息的问题,利用和两个一维池化核对步骤1)得到的最低级主干特征F1的每个通道分别沿水平和垂直坐标进行平均池化,编码得到相应的方向感知的特征图zh和zw;

步骤42) 通过连接操作将步骤41)的两个输出zh和zw融合,得到中间特征图:f=RELU(BN(con([zh,zw])))

其中,表示沿空间维度的连接操作,con表示1×1卷积,BN是归一化操作,RELU是Relu激活函数,r是控制块大小的残差率,根据经验设定为8;步骤43) 将步骤42)的输出f沿空间维度分解为两个单独的张量和:;

其中σ表示sigmoid函数;

步骤44) 将步骤43)的两个输出与步骤1)输出的主干特征F1相乘,得到坐标特征Fpos。

4.根据权利要求1所述的一种基于transformer和多特征聚合的隐蔽目标检测方法,其特征在于,在所述步骤6)中,将步骤1)得到的主干特征F3、步骤2)得到的增强特征Fglo、步骤4)得到的坐标特征Fpos输入到第一个基于反向引导的多特征融合模块,包括以下步骤:步骤61) 利用插值操作将步骤2)输出的增强特征Fglo尺寸与步骤1)得到的主干特征F3调整一致:;

其中表示插值操作;

步骤62) 反向挖掘步骤61)输出的F’3,得到反向引导信息R3:R3=!(σ(F’3))

其中是反向操作,利用sigmoid函数将特征值转换到[0,1]范围,再利用单位矩阵E中减去输入得到反向引导信息;

步骤63) 将步骤1)得到的主干特征F3分成n组具有相同通道数的候选特征Fn3,n根据经验设定为32;

步骤64) 周期性地在步骤63)输出的Fn3中插入步骤62)输出的R3,获得连接的特征F cat3:;

步骤65) 利用一个3×3卷积将通道数从C3+n减少到C3,再与步骤1)输出的主干特征F3相加,得到的组连接特征为:;

其中,表示3×3卷积;

步骤66) 为了充分利用坐标感知细节,利用插值操作将步骤4)输出的Fpos调整为与主干特征F3一样的尺寸,再与步骤65)输出的组连接特征连接,经过一个3×3卷积调整通道数,最后,利用一个和Relu函数和一个3×3卷积将特征图转换成初级目标特征F3cam:;

其中,表示串联操作。

5.根据权利要求1所述的一种基于transformer和多特征聚合的隐蔽目标检测方法,其特征在于,在所述步骤9)中,将步骤1)得到的主干特征F2、步骤8)得到的融合的增强特征F’glo、步骤4)得到的坐标特征Fpos输入第二个基于反向引导的多特征融合模块,包括以下步骤:步骤91) 利用插值操作将步骤8)输出的融合的增强特征F’glo尺寸与步骤1)得到的主干特征F2调整一致:;

其中表示插值操作;

步骤92) 反向挖掘步骤91)输出的F’2,得到反向引导信息R2:R2=!( σ(F’2));

其中是反向操作,利用sigmoid函数将特征值转换到[0,1]范围,再利用单位矩阵E中减去输入得到反向引导信息;

步骤93) 将步骤1)得到的主干特征F2分成n组具有相同通道数的候选特征Fn2,n根据经验设定为32;

步骤94) 周期性地在步骤93)输出的Fn2中插入步骤92)输出的R2,获得连接的特征Fcat2:;

步骤95) 利用一个3×3卷积将通道数从C2+n减少到C2,再与步骤1)输出的主干特征F2相加,得到的组连接特征为:;

其中,表示3×3卷积;

步骤96) 为了充分利用坐标感知细节,利用插值操作将步骤4)输出的Fpos调整为与主干特征F2一样的尺寸,再与步骤95)输出的组连接特征连接,经过一个3×3卷积调整通道数,最后,利用一个和Relu函数和一个3×3卷积将特征图转换成最终目标特征F2cam:;

其中表示串联操作。