欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022115767966
申请人: 大连民族大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-01-27
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种跨模态特征融合及渐近解码的显著性目标检测方法,其特征在于,包括:获取待检测图像;

通过双流Swin Transformer编码器对所述待检测图像提取多层级、多尺度的RGB特征和深度特征;

通过跨模态注意力融合模块对所述多层级、多尺度的RGB特征和深度特征进行融合,得到融合特征;

通过渐进融合解码器对所述融合特征中的高级融合特征进行解码,并在解码的过程中逐级融合低级特征。

2.如权利要求1所述的跨模态特征融合及渐近解码的显著性目标检测方法,其特征在于,通过双流Swin Transformer编码器对所述待检测图像提取多层级、多尺度的RGB特征和深度特征,包括:将深度图像复制为3通道;

通过片元分割操作将所述待检测图像分割成互不重叠的块;

分别从RGB图像和深度图像中获取4个阶段不同尺度的特征,其中RGB特征表示为深度特征表示为 每个阶段由片元融合层和多个堆叠的Swin Transformer块组成,其中第一个阶段的片元融合层由线性嵌入层替代。

3.如权利要求1所述的一种跨模态特征融合及渐近解码的显著性目标检测方法,其特征在于,通过跨模态注意力融合模块对所述多层级、多尺度的RGB特征和深度特征进行融合,得到融合特征,包括:对输入特征 的高级邻层特征 进行放缩,最高层由当前层代替以保持对齐;通过上采样操作将空间分辨率调整到与当前层级相同;将两个输入特征级联并通过卷积层将通道数与 对齐得到 将 与 级联获得多尺度特征Fi;

其中,UP(·)表示双线性插值上采样操作,Cat(·)表示级联操作,Conv(·)表示3*3卷积操作;

利用两个一维平均池化操作给多尺度特征Fi嵌入方向信息;对其进行级联并输入转换层来压缩通道;将嵌入了方向信息的特征图沿x、y方向分离,再通过编码注意力层在各自方向上生成编码注意力图,并与Fi相乘来实现通道注意力感知;

通过空间注意力模块获取空间注意力感知,并将输出与Fi相乘得到最终的融合特征其中,px和py表示水平方向和垂直方向的平均池化操作;ConvBS(·)代表由一个卷积层、BN层和Sigmoid层组成的转换层;CAx(·)和CAy(·)表示沿x、y方向上编码注意力的生成,通过一个包含Sigmoid层的卷积层来实现,SA(·)表示空间注意力层。

4.如权利要求1所述的一种跨模态特征融合及渐近解码的显著性目标检测方法,其特征在于,通过渐进融合解码器对所述融合特征中的高级融合特征进行解码,并在解码的过程中逐级融合低级特征,包括:在利用跨模态注意力融合模块获取融合特征 之后,将高级融合特征 输入到渐进融合解码器中进行解码,并在解码的过程中逐级融合低级特征;采取三个不同维度的残差卷积模块代替单独的卷积层进行解码,具体过程如下所示:其中RCMi(·)表示残差卷积模块,Cat(·)表示拼接操作,Ffinal(·)表示最终特征。

5.如权利要求4所述的一种跨模态特征融合及渐近解码的显著性目标检测方法,其特征在于,所述残差卷积模块的解码方式包括:将输入特征通过一个深度可分离卷积层和LN层;通过两个逐点卷积层调整通道数;将输入特征与输出特征相加,并通过一个上采样层调整特征尺寸,具体过程如下所示:RCM(f)=UP(f+PW2(σ(PW1(LN(DW(f)))))) (4)其中,σ(·)是GELI激活函数,UP(·)表示上采样层,f表示输入特征,DW(·)表示深度可分离卷积层,PW(·)表示逐点卷积层,LN(·)表示正则化层。

6.如权利要求5所述的一种跨模态特征融合及渐近解码的显著性目标检测方法,其特征在于,所述方法还包括:i

从高级特征 和每一级残差卷积模块分别生成显著预测图P (i=1,2,3,4),并采取BCE损失和IoU损失组成的混合损失对其进行监督。

7.如权利要求6所述的一种跨模态特征融合及渐近解码的显著性目标检测方法,其特征在于,BCE损失LBCE定义为:其中,W和H分别代表图像的宽度和高度,P(x,y)表示预测坐标,G(x,y)表示真值坐标。

8.如权利要求7所述的一种跨模态特征融合及渐近解码的显著性目标检测方法,其特征在于,IoU损失LIoU定义为:其中,W和H分别代表图像的宽度和高度,P(x,y)表示预测坐标,G(x,y)表示真值坐标。

9.如权利要求8所述的一种跨模态特征融合及渐近解码的显著性目标检测方法,其特征在于,模型的整体损失L定义为:i

其中P为生成的显著预测图,G为真值图。

10.一种跨模态特征融合及渐近解码的显著性目标检测装置,其特征在于,包括:图像获取模块,用于获取待检测图像;

双流Swin Transformer编码器,用于对所述待检测图像提取多层级、多尺度的RGB特征和深度特征;

跨模态注意力融合模块,用于对所述多层级、多尺度的RGB特征和深度特征进行融合,得到融合特征;

渐进融合解码器,用于对所述融合特征中的高级融合特征进行解码,并在解码的过程中逐级融合低级特征。