1.一种基于双分支渐进交互与多方向特征增强的光学遥感图像显著目标检测方法,其特征在于,包括如下步骤:S1:将光学遥感图像显著目标检测的原数据集按照指定大小裁切成不重叠的子图,并划分为训练集、验证集、测试集;在输入进网络前进行数据增强;该过程具体如下:S1.1:将数据集的原始图像裁切成224×224大小的图片,以适配网络输入尺寸;
S1.2:运用分层抽样法按不同比例划分为训练集、验证集、测试集;
S1.3:对训练集图像进行随机水平翻转、随机垂直翻转、随机旋转和随机裁剪操作,随机旋转时采用双线性插值法重采样,随机裁剪时保证裁剪后图像中心区域与原目标区域重叠率不低于50%;
S1.4:对图像进行归一化处理,将像素值映射到[0, 1]区间;
S2:将输入的图像输入双分支渐进交互编码器进行特征提取;在骨干网络中插入大风车卷积,动态调整卷积核,增加感受野;利用渐进交互机制对双分支的特征进行跨分支交互与动态权重调整;
S3:将双分支渐进交互编码器提取的特征输入语义关联增强模块,计算局部与全局特征的相似度,生成语义关联权重,增强显著目标的语义一致性;添加方向卷积单元,增强对显著目标方向的感知能力;引入上下文感知注意力机制,突出显著目标特征;
所述S3的具体步骤包括:
S31,方向卷积增强特征表达:添加方向卷积单元,对双分支显著目标特征进行方向特征提取和增强;对于方向卷积,设输入特征图为F,第k个方向的卷积核为Kk,则方向卷积的输出为:,
通过这些不同方向的卷积核对特征图进行卷积操作,捕捉显著目标的方向敏感特征,增强特征表达能力;拼接双分支的8方向特征图,通过1×1卷积压缩通道数;
S32,生成Q、K、V向量,基于融合后特征生成注意力向量;
S33,上下文感知注意力机制:引入上下文感知注意力机制,以当前像素为中心取 5×5邻域像素,计算差值绝对值之和,并通过点积运算和 Softmax 函数得到语义关联权重;设当前像素值为,邻域像素值为p,邻域像素值为pij,差值绝对值之和D为:,
设全局特征向量为G,语义关联权重β通过以下计算得到:
,
通过这种方式,通过这种方式,聚焦显著目标特征,抑制背景干扰,增强局部与全局特征的语义关联性;
S4:将语义关联增强模块输出的特征输入多尺度自适应融合模块,动态调整不同尺度特征的融合比例;引入可变形池化操作,自适应调整池化核,避免关键特征丢失;添加方向卷积单元,细化目标边界;
所述S4的具体步骤包括:
S41,目标尺度判断:利用特征图分辨率:可直接获取宽高;目标平均激活强度:计算目标区域平均像素值,目标区域通过阈值 0.5 分割获取,来判断目标尺度大小;设特征图分辨率为(H,W),目标区域平均激活强度为A,定义尺度判断函数S(H,W,A):,
其中,T1、T2、T3、T4是根据实验设定的阈值;通过分析特征图的分辨率,可以初步确定目标的大致尺度范围;结合目标平均激活强度,进一步细化对目标尺度的判断;对于分辨率较低但平均激活强度较高的区域,可能对应小尺度但显著的目标;而分辨率较高且平均激活强度适中的区域,可能包含大尺度目标;通过这种方式,为后续的尺度特征融合提供依据;
S42,尺度特征融合:动态调整不同尺度特征的融合比例,对于包含多种尺度目标的图像,通过加权融合机制将不同尺度特征结合;设大尺度特征图为Flarge,小尺度特征图为Fsmall,根据目标尺度判断结果,融合后的特征图Ffusion为:,
其中,ω1和ω2由通过注意力机制自适应生成,且ω1+ω2 =1;根据目标尺度判断结果,为不同尺度的特征图分配不同的权重;对于大尺度目标,增加大尺度特征图的权重,突出其整体结构信息;对于小尺度目标,加大小尺度特征图的权重,保留其细节特征;通过这种加权融合方式,充分利用不同尺度特征的优势,提高对多尺度目标的检测精度;
S43,可变形池化操作:在特征融合过程中,融入可变形池化操作;可变形池化通过学习偏移量自适应调整池化区域的形状和位置,避免关键特征丢失,提供更准确的特征表示;可变形池化模块的采样点偏移量由一个包含 2 个卷积层,ReLU 激活的小型卷积网络预测;设预测的偏移量为和,对于输入特征图F,可变形池化的输出Fdef为:,
根据预测的偏移量,对不同尺度的特征图进行池化操作时,能够自适应地调整池化区域,更好地适应目标的形状和大小变化,有效保留目标的关键特征;可变形池化可以根据图像的边界形状动态调整池化区域,避免丢失边缘细节;
S44,方向卷积细化边界:添加方向卷积单元,通过这些方向卷积核对融合后的特征图进行卷积操作,进一步突出目标边界特征,细化目标边界;方向卷积核从多个方向对目标边界进行检测和强化,为解码器提供具有细化边界和高区分度的特征,有助于提高目标边界的准确性和清晰度;在方向卷积后增加残差连接,避免特征信息丢失;
S45,输出融合特征图:将经过多尺度自适应融合、可变形池化和方向卷积处理后的特征图输出,用于后续的解码器与输出层处理;这些融合后的特征图包含多尺度、方向和边界信息,为解码器准确恢复目标图像提供有力支持;
S5:将多尺度自适应融合模块输出的特征输入解码器,通过跨层连接将编码器与解码器的特征进行融合;
S6:在训练集上训练模型,保存最佳模型参数;将测试集图像输入模型中,得到显著目标检测结果。
2.根据权利要求1中所述的基于双分支渐进交互与多方向特征增强的光学遥感图像显著目标检测方法,其特征在于,构建所述双分支渐进交互编码器,包括:在CNN分支骨干网络中插入大风车卷积,利用卷积层提取浅层特征阶段;大风车卷积采用非对称填充策略,捕捉目标的分布特性;通过动态调整卷积核的形状和大小,显著增加感受野;Transformer分支用于提取全局上下文特征;
在CNN分支和Transformer分支中设置跨分支交互节点,进行特征交互;其中CNN分支包含五层,Transfomer分支包含三层,特征交互从CNN分支的第三层开始,逐层进行交互,先利用渐进交互机制对两个分支的特征进行跨分支交互与动态权重调整;其次CNN分支的第四层与Transfomer分支的第二层进行交互,此时需重复第一次的操作;最后CNN分支的第五层与Transfomer分支的第三层进行交互,此时不需要再进行动态权重调整,直接将特征输入到语义关联增强模块。
3.根据权利要求1中所述的基于双分支渐进交互与多方向特征增强的光学遥感图像显著目标检测方法,其特征在于,所述渐进交互机制具体为对双分支特征跨分支交互与动态权重调整,包括:在跨分支交互节点中引入交叉注意力机制,通过计算CNN分支和Transformer分支特征的相似度,生成注意力权重,动态调整特征融合比例;
引入动态分支权重调整机制,通过全局特征评估模块分析图像全局特征,生成权重调整信号,动态调整CNN分支和Transformer分支的权重。
4.根据权利要求1中所述的基于双分支渐进交互与多方向特征增强的光学遥感图像显著目标检测方法,其特征在于,构建所述语义关联增强模块,包括:添加方向卷积单元,通过其多方向并行化卷积操作,提取方向性特征,增强特征表达能力;通过聚合不同方向的卷积特征,增强对目标方向的感知能力;
引入上下文感知注意力机制,在考虑像素间空间关系的同时融入上下文语义信息,以当前像素为中心取5×5邻域像素,计算差值绝对值之和,并通过点积运算和Softmax函数得到语义关联权重,聚焦显著目标特征,抑制背景干扰。
5.根据权利要求1中所述的基于双分支渐进交互与多方向特征增强的光学遥感图像显著目标检测方法,其特征在于,构建所述多尺度自适应融合模块,包括:根据特征图分辨率和目标平均激活强度,动态调整不同尺度特征的融合比例,对于包含多种尺度目标的图像,通过加权融合机制将不同尺度特征结合;
在特征融合过程中,引入可变形池化操作,通过学习偏移量自适应调整池化区域的形状和位置,避免关键特征丢失,提供更准确的特征表示;
添加方向卷积单元,通过不同方向的卷积核提取目标边界特征,细化目标边界,为解码器提供具有细化边界和高区分度的特征。