欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021109399657
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.本发明一种多模态对齐校准的RGB‑D图像显著目标检测方法,其特征在于,所述方法包括以下步骤:

S1、从RGB‑D图像中提取RGB特征和Depth特征;

S2、对RGB特征和Depth特征进行对齐校准,产生RGB修正特征和Depth修正特征;

S3、从Depth特征中提取边特征,产生边图;

S4、联合解码RGB修正特征、Depth修正特征、边特征产生显著图;

S5、利用显著图真值、边图真值监督所述边图、显著图,通过训练集的训练,形成RGB‑D图像显著目标检测模型;

S6、利用所述RGB‑D图像显著目标检测模型检测任意一张RGB‑D图像,经过步骤S1‑S4,输出显著图为检测结果。

2.根据权利要求1所述的一种多模态对齐校准的RGB‑D图像显著目标检测方法,其特征在于,在所述步骤S1中,提取RGB特征和Depth特征的方法是分别使用两个在ImageNet上预训练的Swin Transformer神经网络模型提取RGB特征 及Depth特征 其中i表示层数,对应于Swin Transformer的层数,i取值为1至4的自然数。

3.根据权利要求1所述的一种多模态对齐校准的RGB‑D图像显著目标检测方法,其特征在于,在所述步骤S2中,对RGB特征和Depth特征进行对齐校准,产生RGB修正特征和Depth修正特征,具体操作如下:

S2.1:将RGB特征和Depth特征进行逐元素相乘,再经过一个空间注意力操作,形成空间注意力权重,分别与RGB特征和Depth特征逐元素相乘,实现RGB特征和Depth特征的对齐,产生RGB对齐特征和Depth对齐特征,具体描述为:所述 表示第i层的RGB对齐特征和Depth对齐特征,SA(·)操作是指论文《BBS‑Net:RGB‑D salient object detection with a bifurcated backbone strategy network》中所提出的空间注意力模块,“×”是指逐元素相乘操作;

S2.2:将所述RGB对齐特征和Depth对齐特征进行通道注意力操作,形成通道注意力权重,分别与RGB特征和Depth特征逐元素相乘,形成RGB修正特征和Depth修正特征,具体描述为:

所述 表示第i层的RGB修正特征和Depth修正特征,CA(·)操作是指论文《BBS‑Net:RGB‑D salient object detection with a bifurcated backbone strategy network》中所提出的通道注意力模块,“×”是指逐元素相乘操作。

4.根据权利要求1所述的一种多模态对齐校准的RGB‑D图像显著目标检测方法,其特征在于,在所述步骤S3中,从Depth特征中提取边特征,产生边图,具体操作如下:S3.1:对Depth特征 进行1×1卷积操作,使用上采样操作调整空间分辨率大小后,进行级联,形成Depth级联特征Fe,具体描述为:所述Fe表示Depth级联特征,Concat(·)表示级联操作,Conv1(·)表示1×1卷积,Up2表示两倍上采样操作,Up4表示四倍上采样操作;

S3.2:对Depth级联特征Fe进行3×3卷积、批归一化、ReLU激活操作后,经过一个通道注意力产生通道注意力权重,通过与Depth级联特征Fe逐像素相乘实现加权处理,再通过与Depth级联特征Fe逐元素相加,形成边特征F′e,具体描述为:F′e=Fe×CA(BConv(Fe))+Fe所述F′e表示边特征,BConv(·)表示3×3卷积、批归一化和ReLU激活,CA(·)操作是指论文《BBS‑Net:RGB‑D salient object detection with a bifurcated backbone strategy network》中所提出的通道注意力模块,“×”是指逐元素相乘操作,“+”是指逐元素相加操作;

S3.3:将边特征F′e进行3×3的卷积、四倍上采样、Sigmoid激活,形成边图Se,具体描述如下:

Se=Sig(Up4(Conv3(F′e)))所述Se表示边图,Conv3(·)表示3×3卷积,Up4表示四倍上采样操作,Sig(·)表示Sigmoid激活函数。

5.根据权利要求1所述的一种多模态对齐校准的RGB‑D图像显著目标检测方法,其特征在于,在所述步骤S4中,联合解码RGB修正特征、Depth修正特征、边特征产生显著图,具体操作如下:

S4.1:将所述RGB修正特征 和Depth修正特征 进行同层融合,形成融合特征Fi,具体操作如下:将所述RGB修正特征 和Depth修正特征 分别进行逐元素相加、逐元素相乘,然后使用级联的方式产生融合特征Fi,具体描述为:所述Fi表示融合特征,Concat(·)表示特征级联操作,“+”表示逐元素相加操作,“×”表示逐元素相乘操作;

S4.2:将融合特征Fi进行跨层融合,形成显著特征FFi,具体操作如下:第四层显著特征FF4即为第四层融合特征F4,其余各层显著特征Fi(i=1,2,3)与高一层融合特征FFi+1经过两倍上采样、卷积后的特征逐元素相加后形成显著特征FFi,形成具体描述为:所述FFi表示显著特征,Conv3(·)表示3×3卷积,Up2(·)表示两倍上采样,“+”表示逐元素相加操作;

S4.3:将显著特征FFi与边特征F′e进行级联、3×3的卷积、四倍上采样、Sigmoid激活,形成显著图,具体描述如下:

S=Sig(Up4(Conv3(Concat(F′e,FF1))))所述S表示显著图,Concat(·)表示特征级联操作,Conv3(·)表示3×3卷积,Up4(·)表示四倍上采样,Sig(·)表示Sigmoid激活函数。

6.根据权利要求1所述的一种多模态对齐校准的RGB‑D图像显著目标检测方法,其特征在于,在所述步骤S5中,利用显著图真值、边图真值监督所述边图、显著图,通过训练集的训练,形成RGB‑D图像显著目标检测模型;所述训练集采用NJU2K数据集上的1485张图片和NLPR数据集上的700张图片,所述监督采用交叉熵损失。

7.根据权利要求1所述的一种多模态对齐校准的RGB‑D图像显著目标检测方法,其特征在于,在所述步骤S6中,利用所述RGB‑D图像显著目标检测模型检测任意一张RGB‑D图像,经过步骤S1‑S4,输出显著图为检测结果;所述测试集采用NJU2K数据集和NLPR数据集上除训练集之外的其他图片、STERE、DES和SIP数据集。