1.一种基于全局信息引导残差注意力的显著性目标检测方法,其特征在于,包括:步骤1、基于跨层连接方式的U‑Net网络,首先将图像输入到ResNet‑50主干网络中并提取出五个阶段的图像特征,分别为Res1、Res2、Res3、Res4和Res5;
步骤2、将Res2与Res5的特征输入到全局信息互补模块中并获取丰富的全局信息;将ResNet‑50中三个卷积块生成的特征图Res2、Res3和Res4通过多尺度并行卷积模块提取多尺度特征信息;再将全局信息互补模块生成的全局信息和多尺度并行卷积模块生成的多尺度特征信息通过特征融合模块进行融合;
步骤3、将全局信息互补模块生成的一个特征图和融合模块生成的三个特征图分别输入到残差注意力模块中,并生成三个层级的显著性特征图,经过多级监督最终输出显著性结果,具体包括:构建三个融合模块,融合模块的输入分别为来自上一层输出的高级特征由多尺度并行卷积模块生成的多尺度信息的特征 和由全局信息互补模块生成的高低层融合互补特征fg;残差注意力模块对全局信息互补模块生成的一个特征图 和融合模块生成的三个特征图 和 进行处理;
全局信息互补模块分为多尺度融合和通道注意力融合两部分,多尺度融合是将Res2和Res5这两个不同尺度的输出特征在空间维度上进行融合,多尺度融合后再进行通道注意力融合;
多尺度融合过程使用步长为2、卷积核大小为3×3的卷积层将第二层Res2输出特征进行下采样,同时采用双线性插值方法将Res5的输出特征进行上采样,使得两个特征在进行处理后尺度大小相同,再在通道维度上进行合并,公式如下(2) (0) (5) (0)
Uc=down(δ(Trans(C ;θ));C )+up(δ(Trans(C ;θ));C )其中,Trans(*;θ)是参数θ的卷积层,其目的是改变特征的通道数,δ表示Relu激活函(0)数,down表示下采样操作,其目的是将样本*下采样到与C 相同的大小,up是双线性插值运(0) (0)算,其目的是将样本*上采样到与C 相同的大小,其中C 大小为64×64;
通道注意力融合过程是先通过全局平均池化操作将融合后的特征提取出包含各通道全局信息的全局特征向量,全局特征向量包含了所有通道的全局信息,然后利用两个全连接操作对全局池化层得到的特征向量进行缩放,在每个全连接层后面分别加入了Relu运算和sigmoid运算,再将两个全连接操作得到的权重与输入的特征进行相乘连接,然后将得到的结果下采样到与编码过程最高层特征图尺度大小一样的特征,得到整个融合互补模块的输出特征fg,公式如下Us=δ(ω1σ(ω2g))
(5)
fg=down(Fscale(Uc,Us);C )
其中,W、H和C分别为特征图的长、宽和通道数,fc为特征图中每个格点的值,ω1和ω2为(5)全连接层的权重,δ为Relu激活函数,σ为sigmoid操作,down(*;C )下采样操作,其目的是将样本*下采样到与Res5特征相同的大小,Fscale表示相乘运算。
2.根据权利要求1所述的基于全局信息引导残差注意力的显著性目标检测方法,其特征在于:在多尺度并行卷积模块中,先用1×1卷积对输入特征P进行操作,降低输入特征的通道数,减少运算参数,然后采用4种不同的扩张率r的扩张卷积层 来获取不同尺度大小的特征信息,r=1,2,4,8,得到4个输出特征 其中输出特征 和输入特征P具有相同大小的空间分辨率,然后再将P与 进行相加融合,最终在融合特征上进行1×
1卷积操作得到输出特征X,将输出特征X的通道数和输入特征P的通道数保持一致,操作如下其中, 表示不同扩张率的3×3卷积操作,conv1表示1×1卷积操作,sum(*,*)表示元素间的求和运算。
3.根据权利要求1所述的基于全局信息引导残差注意力的显著性目标检测方法,其特征在于:特征融合模块中的输入包括三部分,分别为来自上一层输出的高级特征 由多尺度并行卷积模块生成的多尺度信息的特征 和由全局信息互补模块生成的高低层融合互补特征fg,融合过程描述为t t
fe=8up(8down(fa))
t+1 t t t t
fh =conv1(concat(fa ,fb ,fd ,fe))其中,up是通过双线性插值进行的上采样操作,8up表示上采样空间分辨率为原来的8倍,down是通过平均池化进行的下采样操作,8down表示下采样空间分辨率为原来的1/8,conv1表示卷积核大小为1×1的卷积操作,t是阶段索引。
4.根据权利要求1所述的基于全局信息引导残差注意力的显著性目标检测方法,其特征在于:残差注意力模块包括残差通道注意力模块和残差空间注意力模块,将四个不同分
1 2 3 4
辨率和不同通道数的多尺度特征(fh、fh、fh、fh)作为残差注意力模块的输入特征。
5.根据权利要求4所述的基于全局信息引导残差注意力的显著性目标检测方法,其特
3 4
征在于:采用空间注意力模块对于空间分辨率高通道数少的两个特征(fh 、fh)进行处理,过程描述为Fs=σ(concat(conv2(conv3(Y)),conv3(conv2(Y))))3
N=conv4(Fscale(Y,Fs)+Y)
其中,up表示利用双线性插值法进行的上采样操作,concat表示串联操作,conv1表示卷积核大小为1×1的卷积层,conv2表示卷积核大小为1×k的卷积层,conv3表示卷积核大小为k×1的卷积层,k取值为9,Fscale表示相乘运算,conv4表示卷积核大小为3×3的卷积层,σ表示sigmoid操作。
6.根据权利要求4所述的基于全局信息引导残差注意力的显著性目标检测方法,其特
1 2
征在于:在残差通道注意力模块中对空间分辨率低通道数多的两个特征(fh 、fh)进行处理,过程描述为Fc=σ(Fc2(δ(Fc1(Fga(X)))))
N1=conv4(Fscale(X,Fc)+X)
其中,up表示利用双线性插值法进行的上采样操作,concat表示串联操作,Fga表示全局平均池化操作,Fscale表示相乘运算,conv4表示卷积核大小为3×3的卷积层,δ表示Relu操作,σ表示sigmoid操作。
7.根据权利要求4所述的基于全局信息引导残差注意力的显著性目标检测方法,其特征在于:将残差空间注意力模块处理得到的特征Y2经过下采样,并将残差通道注意力模块处理得到的特征X2经过上采样之后,进行concat,得到Z,并将Z通过卷积核大小为3×3的2
conv4处理,得到空间大小为128×128×1的显著性特征图N,过程描述为2
N=conv4(concat(up(X2),down(Y2)))其中,up表示利用双线性插值法进行的上采样操作,down表示利用平均池化进行的下采样操作,concat表示串联操作,conv4表示卷积核大小为3×3的卷积层。