1.一种基于视觉结构信息指导的遥感图像语义分割方法,其特征在于,包括如下操作:选取遥感数据集和树木测绘数据集作为实验数据集;
基于所述实验数据集,选取视觉基础模型,通过所述视觉基础模型从所述实验数据集的遥感图像中提取视觉结构图像;
基于所述视觉结构图像,构建特征共嵌入模块提取所述视觉结构图像中的视觉特征图像;
基于所述视觉特征图像,构建结构启发式特征融合模块对所述视觉特征图像进行特征融合和结构预测,得到处理后的实验数据集;
构建目标损失函数对所述处理后的实验数据集进行预测;
所述结构启发式特征融合模块包括融合增强和特征再校准模块,融合增强包括自注意力模块和大核深度可分离卷积,所述融合增强用于促进视觉特征图像融合;特征再校准模块包括通道注意力和空间注意力机制,所述特征再校准模块用于完善和校准视觉特征图像;
融合增强对遥感图像和视觉结构图像进行合并,用于增强物体定位能力,自注意力模块融合跨模态输入,大核深度可分离卷积对视觉结构特征进行深度卷积,将卷积结果作为注意力权重对遥感图像特征进行重新加权,并将视觉结构特征嵌入遥感图像特征中,所述大核深度可分离卷积用于增强遥感图像特征中的目标特征;
特征再校准模块通过双分支跨模态交互进行特征校准和降噪,在遥感图像和视觉结构图像上应用跨模态交互,并应用通道注意力将视觉特征图像转换为嵌入空间内的注意力向量,并对生成的视觉特征图像进行汇总,将汇总的视觉特征图像作为同一模式下的校准特征图像;所述融合增强对遥感图像和视觉结构图像进行合并时,对查询进行下采样操作,查询由遥感图像和视觉结构图像导出,K和V由遥感图像导出,所述查询Q的表达式为:Q=Linear(Poolk×k([Xrgb,Xstructure]))式中,Q为查询,Xrgb为遥感图像特征;Xstructure为视觉结构特征;[]为通道维度上的连通性;Poolk×k为k×k的自适应平均汇集操作;Linear为线性变换;
所述K的表达式为:
K=Linear(Xrgb)
式中,Xrgb为遥感图像特征;Linear为线性变换;K为键,所述V的表达式为:
V=Linear(Xrgb)
式中,Xrgb为遥感图像特征;Linear为线性变换;V为值,特征再校准模块的过程为:
式中,UP为向上取样操作;Q为查询;为融合增强的一分支输出;V为值;Softmax为Softmax函数;K为键;C为隐藏层;T为转置;d为维度;
考虑局部信息,通过大核深度可分离卷积重塑特征权重,并嵌入遥感图像信息和掩膜信息:式中,为融合增强的二分支输出;DConvk×k为深度卷积;k×k为深度卷积的内核大小;Linear为线性变换;Xstructure为视觉结构特征;Xrgb为遥感图像特征;⊙为元素相乘;
将自注意力模块和大核深度可分离卷积功能进行连接,并分别映射到各个模态,形成融合增强的输出,即式中,XFE为融合增强的输出;Concat为级联操作;为融合增强的一分支输出;为融合增强的二分支输出。
2.根据权利要求1所述的一种基于视觉结构信息指导的遥感图像语义分割方法,其特征在于,在得到所述实验数据集之后,对实验数据集中的遥感图像进行数据增强:对遥感图像进行划窗裁剪,即在遥感图像上按照512×512大小、256×256步长裁剪出子区域,并突出子区域中局部特征比例;对遥感图像进行随机水平翻转;对遥感图像进行随机缩放,并且缩放比例的范围为0.5-1.75。
3.根据权利要求1所述的一种基于视觉结构信息指导的遥感图像语义分割方法,其特征在于,所述视觉基础模型包括分割大模型和深度大模型,所述视觉结构图像是指视觉基础模型从实验数据集的遥感图像中学习出的额外模态信息,将遥感图像输入视觉基础模型并冻结模型参数,只进行模型推理得到视觉结构图像。
4.根据权利要求1所述的一种基于视觉结构信息指导的遥感图像语义分割方法,其特征在于,所述特征共嵌入模块包括CNN和ViT,CNN包括3×3卷积、BN层和GELU激活函数,ViT使用Dinov2预训练模型;
CNN产生的视觉特征图像Wc的表达式为:
Wc=Conv3×3(σ(Conv3×3(X)))
式中,Wc为CNN从遥感图像和视觉结构图像中提取的视觉特征图像;Conv3x3为3x3的卷积层;σ为GELU激活函数;X为输入的遥感图像;
ViT编码器处理视觉结构图像时,通过补丁嵌入层对视觉结构图像进行标记化,生成视觉特征图像;该图像穿过多个Transformer编码块,在每层生成不同大小的输出数据,每个Transformer编码块之后均存在一个Patch Merging层,该层将空间维度减半,并将输出数据转发至下一个更深的Transformer编码块;采用从Dinov2中得到的ViT权重,在实验数据集上预先训练Dinov2,ViT嵌入的视觉特征图像Wv的表达式为:Wv=FViT(X)
式中,Wv为ViT从遥感图像和和视觉结构图像中提取的视觉特征图像;FViT为ViT特征提取器;X为输入的遥感图像;
将两个分支的视觉特征图像相加,并导入后续的构建结构启发式特征融合模块进行进一步处理:式中,xrgb为遥感图像特征;和为ViT从遥感图像和视觉结构图像中提取的视觉特征图像;xstructure为视觉结构特征;和为CNN从遥感图像和视觉结构图像中提取的视觉特征图像。
5.根据权利要求1所述的一种基于视觉结构信息指导的遥感图像语义分割方法,其特征在于,所述特征再校准模块通过双分支跨模态交互进行特征校准和降噪时,对视觉特征图像进行叠加:Xc=Concat(Xstructure,Xrgb)
式中,Xc为初步融合特征;Concat为级联操作;Xstructure为视觉结构特征;Xrgb为遥感图像特征;
通过空间注意力机制将视觉特征图像转换至嵌入空间作为注意力向量,注意力向量的表达式为:Wrgb=σ(Mlp(F(Xc)))
式中,Wrgb为注意力向量;σ为激活函数;Mlp为全连接层,其包含两个1x1的卷积层;F为长距离上下文建模操作;Xc为初步融合特征;
长距离上下文建模操作F的表达式为:
式中,F为长距离上下文建模操作;Xc为初步融合特征;H为特征高度;W为特征宽度;exp为以自然常数e为底的指数函数;Wc为线性变换;为位置i处的特征向量;为位置j处的特征向量;
在注意力特征计算之后,与原始的视觉特征图像进行点乘得到沿通道维度的组合特征:式中,为同一模式下的校准特征图像;⊙为元素相乘;Wrgb为注意力向量;
跨模态再校准是指校准特征图像与视觉结构特征相互交换的过程:
式中,Xf为跨模态再校准图像;为同一模式下的校准特征图像;Xstructure为视觉结构特征;
在空间维度上应用同样操作,突出空间位置上信息可用性高的区域,并抑制信息可用性低的区域,突出空间位置中信息可用性高的区域,并抑制信息噪音:式中,为注意特征图像;G为空间注意力操作;Xc为初步融合特征;C为通道数;为通道i的特征向量;为通道j的特征向量;Wf为线性变换矩阵;exp为以自然常数e为底的指数函数;
将得到的注意特征图像与原始的视觉特征图像进行加权,突出空间维度上的信息区域并抑制噪声,得到初始加权特征图像初始加权特征图像的表达式为:式中,为初始加权特征图像;为注意特征图像;Xrgb为遥感图像特征;
加入原始的视觉结构特征和融合增强的输出:
式中,为加权特征图像;为初始加权特征图像;Xstructure为视觉结构特征;XFR为融合增强的输出;
将得到的通道注意力和空间注意力机制的特征图像进行串联,创建特征再校准模块的特征图像:式中,XFR为特征再校准模块的特征图像;Concat为级联操作;为加权特征图像;Xstructure为视觉结构特征;为加权特征图像的输出;为视觉结构特征的输出;和为线性映射;
将来自多尺度块的RGB输出发送到多层感知机解码器,生成最终分割结果。