1.一种基于深度感知RGB多尺度融合网络的目标检测方法,其特征在于,包括:步骤1,分别在RGB分支和深度分支中,使用VGG19作为主干网络,对RGB图和深度图进行不同级、不同尺度的特征下采样,得到相应的RGB特征和深度特征;并在RGB分支中的每级下采样之后插入一个深度感知RGB特征优化模块DARFOM,利用原始深度图来增强RGB特征,得到最终的输出特征;所述DARFOM利用原始深度图来增强RGB特征,得到最终的输出特征的过程如下:(1)将原始深度图分解为T+1个区域,生成T+1个空间注意力掩码,步骤如下:(2)将T+1个空间注意力掩码分配给RGB分支中的T+1个子分支,每个子分支处理与对应深度区域相关的图像信息,以精确整合RGB特征和深度信息,得到增强的RGB特征(3)通过残差连接得到最终的输出特征:
其中是RGB分支的第i级中的RGB特征图;
步骤2,基于多尺度注意力增强融合模块MSAEFM进行RGB特征和深度特征融合;
步骤3,双注意力引导模块DAGM使用更深的特征来引导步骤2融合后的特征以进行进一步滤波;
步骤4,在步骤3基础上,利用sigmoid函数优化显著性区域检测,得到最终的检测目标。
2.根据权利要求1所述的一种基于深度感知RGB多尺度融合网络的目标检测方法,其特征在于,所述(1)包括:(1.1)将原始深度图转换为深度直方图,进而从直方图中挑选出T个最为显著的深度分布模式,这些模式各自对应一个深度范围,即T个深度间隔窗口;
(1.2)依据T个深度间隔窗口将原始深度图分割为T个不同的区域,而直方图中未被选中的剩余部分则构成一个附加的背景区域;
(1.3)对每个区域进行归一化处理,将其值域限定在[0,1]之间,从而生成T+1个空间注意力掩码。
3.根据权利要求1所述的一种基于深度感知RGB多尺度融合网络的目标检测方法,其特征在于,所述(2)包括:(2.1)利用最大池化操作将掩码与的大小对齐:
pt=MaxPool(bt) (1)
其中是RGB分支的第i级中的RGB特征图;bt为第t个空间注意力掩模;
(2.2)利用对齐大小后的掩码pt与RGB特征得到增强的RGB特征:其中,表示逐元素乘法。
4.根据权利要求1所述的一种基于深度感知RGB多尺度融合网络的目标检测方法,其特征在于,所述步骤2中,对于第一级特征,采用串联操作将RGB特征和深度特征组合在一起,得到的组合特征即为第一级融合后的特征;
对于其他级特征,利用多尺度注意力增强融合模块MSAEFM进行融合,具体如下:首先,使用将RGB特征和深度特征组合在一起,得到组合特征然后,组合特征ci通过具有3×3内核的卷积层后进入四个分支和通道注意力分支,然后融合得到融合后的特征;
对于四个分支中后三个分支,每个分支中设有1×1内核的第一次卷积,用于改变特征通道的数量,还设置非对称卷积和扩张卷积,非对称卷积通过具有1×d和d×1内核的两层序列来近似平方核卷积层,各分支的扩张卷积扩张率不同。
5.根据权利要求4所述的一种基于深度感知RGB多尺度融合网络的目标检测方法,其特征在于,所述MSAEFM块中得到的融合后的特征为:其中CA表示通道注意力分支,C是具有3×3内核的卷积层;分别是通过四个分支得到的结果,Cat表示将得到的结果通过卷积进行融合。
6.根据权利要求1所述的一种基于深度感知RGB多尺度融合网络的目标检测方法,其特征在于,步骤3所述双注意力引导模块DAGM使用更深的特征来引导步骤2融合后的特征以进行进一步滤波,具体如下:Mi=Cat(Li×fi,ULi×fi) (6)
di=C(Mi×CA(Mi)) (7)
式中Li和ULi分别表示学习的显著区域和未学习的区域,CA表示通道注意模块,di为双注意引导模块的输出,C为1×1核卷积层,Mi包含学习到的显著性区域和在中尚未检测到的位置,i表示特征的级别,在DAGM模块中,表示解码器阶段的每一层特征上采样之后的结果。
7.根据权利要求1所述的一种基于深度感知RGB多尺度融合网络的目标检测方法,其特征在于,所述步骤4利用sigmoid函数优化显著性区域检测的方式为:ULi=1-Li (9)
其中Li和ULi分别表示学习的显著区域和未学习的区域,i表示特征的级别。