欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022104589005
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于Transformer边界感知的光学遥感图像显著目标检测方法,其特征在于:包括以下步骤:步骤S1、使用特征编码器编码获得遥感图像的多级特征,并将遥感图像特征标记为f1~f4;

步骤S2、通过空间注意力机制引导浅层特征f1和f2进行交互优化,并融合提取共有区域特征信息,得到新的浅层特征F1和F2;

步骤S3、将高层特征f3和f4经过基于Transformer全局上下文模块对全局信息处理,分别得到含有充分全局上下文信息的特征F3和F4;

步骤S4、在边界感知解码器中,分别将特征F1~F3中的边界信息增强,并通过边界真值监督得到边界特征F1′~F3′,通过三个边界模块渐进地将每一层边界特征和强调显著区域的特征融合,得到完整且边界清晰的显著图;

步骤S5、通过联合损失函数Lfinal监督训练网络得到最终预测图。

2.根据权利要求1所述的基于Transformer边界感知的光学遥感图像显著目标检测方法,其特征在于:所述步骤S1中特征编码器采用Swin‑Transformer部分结构,包括3个stage;每个stage中均包括多层重复的transformer模块,每个transformer模块中均包括window attention和shift window attention;并且每个stage均可缩小所输入的特征图的分辨率。

3.根据权利要求1所述的基于Transformer边界感知的光学遥感图像显著目标检测方法,其特征在于:所述步骤S2的具体方法为;

首先,计算浅层特征的空间注意力图As:

As=SpatialAttn(fi)

SpatialAttn(fi)=σ(Conv(Cat(AvgPool(fi),Maxpool(fi))))其中,i=1,2,σ(*)表示sigmoid激活函数,Conv表示卷积层,Cat表示特征按通道维度级联,AvgPooling表示平均池化,Maxpooling表示最大池化;

将空间注意力图As与对应的特征图fi相乘,得到的新的特征图fi′:fi′=As×fi

然后,将两个浅层特征相乘并通过3*3的卷积处理得到浅层融合特征ffuse:ffuse=Conv(f1×f2)

将浅层融合特征ffuse分别与f1′和f′2通过元素级加法进行融合实现共有区域特征的提取,进而得到新浅层特征F1,F2;

其中,F1=f1′+ffuse,F2=f′2+ffuse。

4.根据权利要求1所述的基于Transformer边界感知的光学遥感图像显著目标检测方法,其特征在于:所述步骤S3中基于Transformer全局上下文模块具体方法为:步骤S3.1、将高层特征f3下采样至f4相同的分辨率并将其相加得到高层融合特征步骤S3.2、使高层融合特征 通过双分支的结构获取全局上下文信息;

分支一通过Transformer层得到具有全局感受野的全局特征G1:其中,T代表一组Transformer层,Conv1代表1*1卷积操作,BN代表批量归一化层,ρ(*)代表ReLU函数;

分支二通过平均池化得到 的全局特征G2对分支一进行补充和增强目标区域:步骤S3.3、将两分支通过元素级相加进行融合,再利用一个Sigmoid激活函数生成一个权重φ分别作用于高层特征f3、f4得到含有充分全局上下文信息的特征F3、F4:φ=Sigmoid(G1+G2)

F3=f3×φ

F4=f4×φ。

5.根据权利要求1所述的基于Transformer边界感知的光学遥感图像显著目标检测方法,其特征在于:所述步骤S4的具体过程为:S4.1、将新浅层特征F1,F2以及特征F3经过通道注意力以及残差连接对边界信息进一步挖掘,得到F1′,F′2,F3′,并用边界真值监督得到边界特征:Ac=ChannelAttn(Fi)

ChannelAttn(Fi)=σ(Maxpool(Fi))Fi′=Fi+Ac×Fi,i=1,2,3

S4.2、在边界感知解码器中,输入通过编码器得到的各层级特征F1~F4以及边界特征F1′~F3′,先将最高层特征F4上采样至F3相同尺寸并融合,接着通过三个重复的边界模块使边界特征F1′~F3′和F1~F4进行交互融合,逐渐细化生成更加完整且边缘较清晰的显著性图;

解码器中的每个边界模块均包括两个分支,一个分支将边界特征二倍上采样至下一层特征相同分辨率,两者像素级相乘得到边缘区域E1:E1=Up(F3′)×F2

用1减去边界特征得到除去边界的区域

另一个分支将特征F3上采样与 相同大小,然后将除去边界的区域 和F3相乘强调较明确的显著区域E2:S4.3、将显著区域E2和互补的边缘区域E1进行融合得到F2″,并将新的特征图F2″和下一层特征融合再重复送入边界模块:F2″=E1+E2

F2=F2″+F2。

6.根据权利要求1所述的基于Transformer边界感知的光学遥感图像显著目标检测方法,其特征在于:所述步骤S5中联合损失函数Lfinal为:Lfinal=Ls+Le

其中,Ls为显著损失函数,Le为边界损失函数;

显著损失函数具体为:

Ls=Lbce+Ldice+Lsmooth

其中,Lbce为二元交叉熵BCE损失函数,Ldice为Dice损失函数,Lsmooth为平滑度损失函数;

给定显著图S={S(j)|j=1,...,T}和真值标签Y={Y(j)|j=1,...,T},其中j表示第j个像素,T是该显著图的总像素数;

二元交叉熵BCE损失函数为:

Dice损失函数Ldice为:

平滑度损失函数Ls具体为:

给定边界图E={E(k)|k=1,...,K}和边界真值标签G={G(k)|k=1,...,K},其中k表第k个像素,K是边界图的总像素数;

将关注边界的特征图 上采样到边界真值图的分辨率大小,再通过二元交叉熵BCE损失函数进行监督,边界损失函数Le具体为:Le=α*L1+β*L2+γ*L3

其中,α,β,γ是控制不同损失的权重参数分别为0.5、0.8和1。