欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024109060961
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度感知RGB多尺度融合网络的目标检测方法,其特征在于,包括:步骤1,分别在RGB分支和深度分支中,使用VGG19作为主干网络,对RGB图和深度图进行不同级、不同尺度的特征下采样,得到相应的RGB特征和深度特征;并在RGB分支中的每级下采样之后插入一个深度感知RGB特征优化模块DARFOM,利用原始深度图来增强RGB特征,得到最终的输出特征;所述DARFOM利用原始深度图来增强RGB特征,得到最终的输出特征的过程如下:(1)将原始深度图分解为T+1个区域,生成T+1个空间注意力掩码,步骤如下:(2)将T+1个空间注意力掩码分配给RGB分支中的T+1个子分支,每个子分支处理与对应深度区域相关的图像信息,以精确整合RGB特征和深度信息,得到增强的RGB特征(3)通过残差连接得到最终的输出特征:

其中是RGB分支的第i级中的RGB特征图;

步骤2,基于多尺度注意力增强融合模块MSAEFM进行RGB特征和深度特征融合;

步骤3,双注意力引导模块DAGM使用更深的特征来引导步骤2融合后的特征以进行进一步滤波;

步骤4,在步骤3基础上,利用sigmoid函数优化显著性区域检测,得到最终的检测目标。

2.根据权利要求1所述的一种基于深度感知RGB多尺度融合网络的目标检测方法,其特征在于,所述(1)包括:(1.1)将原始深度图转换为深度直方图,进而从直方图中挑选出T个最为显著的深度分布模式,这些模式各自对应一个深度范围,即T个深度间隔窗口;

(1.2)依据T个深度间隔窗口将原始深度图分割为T个不同的区域,而直方图中未被选中的剩余部分则构成一个附加的背景区域;

(1.3)对每个区域进行归一化处理,将其值域限定在[0,1]之间,从而生成T+1个空间注意力掩码。

3.根据权利要求1所述的一种基于深度感知RGB多尺度融合网络的目标检测方法,其特征在于,所述(2)包括:(2.1)利用最大池化操作将掩码与的大小对齐:

pt=MaxPool(bt)  (1)

其中是RGB分支的第i级中的RGB特征图;bt为第t个空间注意力掩模;

(2.2)利用对齐大小后的掩码pt与RGB特征得到增强的RGB特征:其中,表示逐元素乘法。

4.根据权利要求1所述的一种基于深度感知RGB多尺度融合网络的目标检测方法,其特征在于,所述步骤2中,对于第一级特征,采用串联操作将RGB特征和深度特征组合在一起,得到的组合特征即为第一级融合后的特征;

对于其他级特征,利用多尺度注意力增强融合模块MSAEFM进行融合,具体如下:首先,使用将RGB特征和深度特征组合在一起,得到组合特征然后,组合特征ci通过具有3×3内核的卷积层后进入四个分支和通道注意力分支,然后融合得到融合后的特征;

对于四个分支中后三个分支,每个分支中设有1×1内核的第一次卷积,用于改变特征通道的数量,还设置非对称卷积和扩张卷积,非对称卷积通过具有1×d和d×1内核的两层序列来近似平方核卷积层,各分支的扩张卷积扩张率不同。

5.根据权利要求4所述的一种基于深度感知RGB多尺度融合网络的目标检测方法,其特征在于,所述MSAEFM块中得到的融合后的特征为:其中CA表示通道注意力分支,C是具有3×3内核的卷积层;分别是通过四个分支得到的结果,Cat表示将得到的结果通过卷积进行融合。

6.根据权利要求1所述的一种基于深度感知RGB多尺度融合网络的目标检测方法,其特征在于,步骤3所述双注意力引导模块DAGM使用更深的特征来引导步骤2融合后的特征以进行进一步滤波,具体如下:Mi=Cat(Li×fi,ULi×fi)  (6)

di=C(Mi×CA(Mi))  (7)

式中Li和ULi分别表示学习的显著区域和未学习的区域,CA表示通道注意模块,di为双注意引导模块的输出,C为1×1核卷积层,Mi包含学习到的显著性区域和在中尚未检测到的位置,i表示特征的级别,在DAGM模块中,表示解码器阶段的每一层特征上采样之后的结果。

7.根据权利要求1所述的一种基于深度感知RGB多尺度融合网络的目标检测方法,其特征在于,所述步骤4利用sigmoid函数优化显著性区域检测的方式为:ULi=1-Li  (9)

其中Li和ULi分别表示学习的显著区域和未学习的区域,i表示特征的级别。