1.本发明一种多模态对齐校准的RGB‑D图像显著目标检测方法,其特征在于,所述方法包括以下步骤:
S1、从RGB‑D图像中提取RGB特征和Depth特征;
S2、对RGB特征和Depth特征进行对齐校准,产生RGB修正特征和Depth修正特征;
S3、从Depth特征中提取边特征,产生边图;
S4、联合解码RGB修正特征、Depth修正特征、边特征产生显著图;
S5、利用显著图真值、边图真值监督所述边图、显著图,通过训练集的训练,形成RGB‑D图像显著目标检测模型;
S6、利用所述RGB‑D图像显著目标检测模型检测任意一张RGB‑D图像,经过步骤S1‑S4,输出显著图为检测结果。
2.根据权利要求1所述的一种多模态对齐校准的RGB‑D图像显著目标检测方法,其特征在于,在所述步骤S1中,提取RGB特征和Depth特征的方法是分别使用两个在ImageNet上预训练的Swin Transformer神经网络模型提取RGB特征 及Depth特征 其中i表示层数,对应于Swin Transformer的层数,i取值为1至4的自然数。
3.根据权利要求1所述的一种多模态对齐校准的RGB‑D图像显著目标检测方法,其特征在于,在所述步骤S2中,对RGB特征和Depth特征进行对齐校准,产生RGB修正特征和Depth修正特征,具体操作如下:
S2.1:将RGB特征和Depth特征进行逐元素相乘,再经过一个空间注意力操作,形成空间注意力权重,分别与RGB特征和Depth特征逐元素相乘,实现RGB特征和Depth特征的对齐,产生RGB对齐特征和Depth对齐特征,具体描述为:所述 表示第i层的RGB对齐特征和Depth对齐特征,SA(·)操作是指论文《BBS‑Net:RGB‑D salient object detection with a bifurcated backbone strategy network》中所提出的空间注意力模块,“×”是指逐元素相乘操作;
S2.2:将所述RGB对齐特征和Depth对齐特征进行通道注意力操作,形成通道注意力权重,分别与RGB特征和Depth特征逐元素相乘,形成RGB修正特征和Depth修正特征,具体描述为:
所述 表示第i层的RGB修正特征和Depth修正特征,CA(·)操作是指论文《BBS‑Net:RGB‑D salient object detection with a bifurcated backbone strategy network》中所提出的通道注意力模块,“×”是指逐元素相乘操作。
4.根据权利要求1所述的一种多模态对齐校准的RGB‑D图像显著目标检测方法,其特征在于,在所述步骤S3中,从Depth特征中提取边特征,产生边图,具体操作如下:S3.1:对Depth特征 进行1×1卷积操作,使用上采样操作调整空间分辨率大小后,进行级联,形成Depth级联特征Fe,具体描述为:所述Fe表示Depth级联特征,Concat(·)表示级联操作,Conv1(·)表示1×1卷积,Up2表示两倍上采样操作,Up4表示四倍上采样操作;
S3.2:对Depth级联特征Fe进行3×3卷积、批归一化、ReLU激活操作后,经过一个通道注意力产生通道注意力权重,通过与Depth级联特征Fe逐像素相乘实现加权处理,再通过与Depth级联特征Fe逐元素相加,形成边特征F′e,具体描述为:F′e=Fe×CA(BConv(Fe))+Fe所述F′e表示边特征,BConv(·)表示3×3卷积、批归一化和ReLU激活,CA(·)操作是指论文《BBS‑Net:RGB‑D salient object detection with a bifurcated backbone strategy network》中所提出的通道注意力模块,“×”是指逐元素相乘操作,“+”是指逐元素相加操作;
S3.3:将边特征F′e进行3×3的卷积、四倍上采样、Sigmoid激活,形成边图Se,具体描述如下:
Se=Sig(Up4(Conv3(F′e)))所述Se表示边图,Conv3(·)表示3×3卷积,Up4表示四倍上采样操作,Sig(·)表示Sigmoid激活函数。
5.根据权利要求1所述的一种多模态对齐校准的RGB‑D图像显著目标检测方法,其特征在于,在所述步骤S4中,联合解码RGB修正特征、Depth修正特征、边特征产生显著图,具体操作如下:
S4.1:将所述RGB修正特征 和Depth修正特征 进行同层融合,形成融合特征Fi,具体操作如下:将所述RGB修正特征 和Depth修正特征 分别进行逐元素相加、逐元素相乘,然后使用级联的方式产生融合特征Fi,具体描述为:所述Fi表示融合特征,Concat(·)表示特征级联操作,“+”表示逐元素相加操作,“×”表示逐元素相乘操作;
S4.2:将融合特征Fi进行跨层融合,形成显著特征FFi,具体操作如下:第四层显著特征FF4即为第四层融合特征F4,其余各层显著特征Fi(i=1,2,3)与高一层融合特征FFi+1经过两倍上采样、卷积后的特征逐元素相加后形成显著特征FFi,形成具体描述为:所述FFi表示显著特征,Conv3(·)表示3×3卷积,Up2(·)表示两倍上采样,“+”表示逐元素相加操作;
S4.3:将显著特征FFi与边特征F′e进行级联、3×3的卷积、四倍上采样、Sigmoid激活,形成显著图,具体描述如下:
S=Sig(Up4(Conv3(Concat(F′e,FF1))))所述S表示显著图,Concat(·)表示特征级联操作,Conv3(·)表示3×3卷积,Up4(·)表示四倍上采样,Sig(·)表示Sigmoid激活函数。
6.根据权利要求1所述的一种多模态对齐校准的RGB‑D图像显著目标检测方法,其特征在于,在所述步骤S5中,利用显著图真值、边图真值监督所述边图、显著图,通过训练集的训练,形成RGB‑D图像显著目标检测模型;所述训练集采用NJU2K数据集上的1485张图片和NLPR数据集上的700张图片,所述监督采用交叉熵损失。
7.根据权利要求1所述的一种多模态对齐校准的RGB‑D图像显著目标检测方法,其特征在于,在所述步骤S6中,利用所述RGB‑D图像显著目标检测模型检测任意一张RGB‑D图像,经过步骤S1‑S4,输出显著图为检测结果;所述测试集采用NJU2K数据集和NLPR数据集上除训练集之外的其他图片、STERE、DES和SIP数据集。