1.一种跨模态共注意光场显著目标检测方法,其特征在于包括以下步骤:
S1:获取数据集,并对其预处理;
S2:将预处理后的数据集输入到训练好的光场显著目标检测网络中;
S3:采用两个Pyramid Vision Transformer骨干网络分支分别提取RGB图像和焦点堆栈的特征;
S4:对RGB分支和焦点堆栈分支的特征分别执行通道压缩操作;
S5:利用交叉互补细化模块,挖掘两个模态之间的互补信息,实现特征的细化;
S6:通过跨模态分层共注意模块,整合相邻层级的特征信息,并进一步融合跨模态特征;
S7:采用RGB引导解码模块,实现最后的特征融合并解码输出显著图。
2.如权利要求1所述的跨模态共注意光场显著目标检测方法,其特征在于,所述数据集包括RGB图像和焦点切片,每张RGB图像对应12张不同的焦点切片,12张不同的焦点切片集合为焦点堆栈。
3.如权利要求1所述的跨模态共注意光场显著目标检测方法,其特征在于,所述训练好的光场显著目标检测网络的训练步骤包括:构建光场显著目标检测网络;
构建训练集,将其输入到光场显著目标检测网络中,进行训练;
光场显著目标检测网络输出检测结果;
将检测结果和输入RGB图像对应的真值图计算损失;
当损失值达到最小时,模型收敛,停止训练,得到训练好的光场显著目标检测网络。
4.如权利要求1所述的跨模态共注意光场显著目标检测方法,其特征在于,所述通道压缩操作将RGB分支所有层级特征的通道数压缩到32;在焦点堆栈分支中,首先利用通道注意力机制处理焦点切片,按照重要性为每个切片分配一个权重,并将得到的权重与对应的焦点切片特征逐元素相乘,得到重新分配权重后的焦点堆栈特征,然后将所有层次特征的通道数压缩到32,最终得到RGB特征和焦点堆栈特征其中,r表示RGB图像,f表示焦点堆栈,i表示特征的层级。
5.如权利要求1所述的跨模态共注意光场显著目标检测方法,其特征在于,所述的交叉互补细化模块将初始特征和依次通过全局平均池化,全连接层和Softmax层,提取和强化不同通道的关键信息,生成向量和随后将和与相应的向量和进行通道级乘操作,得到初次细化后的特征和和代表RGB分支第i层的全连接层参数,和表示焦点堆栈分支第i层的全连接层参数,GAP(·)表示全局平均池化操作,Softmax(·)表示Softmax函数,其具体计算公式如下:对初次细化后的特征和进行二次细化,将和分别进行全局最大池化和全局平均池化操作,将结果进行拼接,通过Softmax层,生成向量和随后将和与相应的向量和进行通道级乘操作,得到二次细化后的特征和GMP(·)表示全局最大池化操作,Cat[·]代表拼接操作,其具体计算公式如下:将和相乘生成交叉注意向量与和分别进行通道级乘操作,获得交叉细化增强后的特征和最后将和和分别相加,并通过卷积层获得特征和Conv(·)代表3×3卷积操作,其具体计算公式如下:
6.如权利要求1所述的跨模态共注意光场显著目标检测方法,其特征在于,所述的跨模态分层共注意模块整合相邻两层的特征,将较高层特征和上采样,通过通道注意操作生成注意图,与较浅层特征和相乘,再通过残差连接操作以保留浅层特征的信息,生成的结果与和通过残差块后的特征拼接,获得整合相邻层特征后的特征和Up(·)代表上采样操作,CA(·)代表通道注意力操作,RB(·)表示残差块,其具体计算公式如下:接下来,计算和的相似度矩阵Mi,通过Softmax函数对Mi进行列和行归一化,获得两个模态的共注意权重和利用和对和加权,得到特征和F(·)表示将特征的维度从H×W×C变为HW×C的flatten操作,表示矩阵乘操作,R(·)表示将特征的维度从C×HW变为H×W×C的reshape操作,其具体计算公式如下:
7.如权利要求1所述的跨模态共注意光场显著目标检测方法,其特征在于,所述的RGB引导解码模块利用RGB特征作为主导,融合第一层的RGB和焦点堆栈特征,即将依次通过通道和空间注意力层,与相加得到而不经过处理,SA(·)代表空间注意力操作,其具体计算公式如下:随后,将和进行通道级拼接,并输入到一个反卷积块DB中,获得最后的预测图S1,所述的DB由三个卷积层和三个反卷积层以交错级联的方式组成,其具体计算公式如下: