欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023107561097
申请人: 长沙理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于边界信息引导多信息融合的遥感图像语义分割方法,其特征在于,所述方法包括:获取遥感图像,并对所述遥感图像进行标注,得到训练样本;

构建遥感图像语义分割网络,所述遥感图像语义分割网络包括输入网络、特征提取网络以及分割网络;所述输入网络用于采用卷积操作提取所述训练样本的浅层特征;所述特征提取网络包括边界支路、语义支路以及空间支路,每个支路包括三个阶段,所述边界支路的每个阶段包括双向边界门控模块,所述空间支路和所述语义支路包括堆叠卷积模块和类瓶颈结构模块,在所述空间支路中每阶段后还包括一个边界引导线性注意力模块;所述特征提取网络用于采用所述边界支路和所述语义支路分别提取所述浅层特征各阶段的边界特征和语义特征,采用所述边界引导线性注意力模块将该阶段的边界特征和语义特征融合到该阶段所述空间支路提取的特征中得到该阶段空间特征;所述分割网络用于根据所述浅层特征和三个阶段的空间特征进行预测,得到预测语义分割结果;所述双向边界门控模块包括:卷积层、深度可分离卷积层以及门控机制;所述边界引导线性注意力模块包括:卷积层、Softmax函数和Sigmoid函数;

根据所述训练样本的标注和将所述训练样本输入到所述遥感图像语义分割网络后得到的预测语义分割结果对所述遥感图像语义分割网络进行训练,得到训练好的遥感图像语义分割网络;

将获取的待分割遥感图像输入到训练好的遥感图像语义分割网络中,得到待分割遥感图像的语义分割结果。

2.根据权利要求1所述的方法,其特征在于,所述输入网络包括Stem模块和两个堆叠卷积模块;

根据所述训练样本和将所述训练样本输入到所述遥感图像语义分割网络后得到的预测语义分割结果对所述遥感图像语义分割网络进行训练,得到训练好的遥感图像语义分割网络,包括:将所述训练样本输入到所述输入网络中通过Stem模块中提取不同维度的特征,并将得到的特征经过两个不同步长的堆叠卷积模块进行特征提取,得到浅层特征;

将所述浅层特征输入到所述特征提取网络中,得到各阶段的空间特征;

将所述浅层特征和各阶段的空间特征输入到所述分割网络中,得到预测语义分割结果;

根据所述训练样本的标注和所述预测语义分割结果对所述遥感图像语义分割网络进行反向训练,得到训练好的遥感图像语义分割网络。

3.根据权利要求2所述的方法,其特征在于,将所述浅层特征输入到所述特征提取网络中,得到各阶段的空间特征,包括:将所述浅层特征输入到所述边界支路中,得到第一阶段边界特征、第二阶段边界特征和第三阶段边界特征;

将所述浅层特征输入到所述语义支路中,得到第一阶段语义特征、第二阶段语义特征和第三阶段语义特征;

将所述浅层特征输入到所述空间支路中的第一阶段,得到第一中间空间特征;

将所述第一中间空间特征、所述第一阶段语义特征以及所述第一阶段边界特征输入到第一个边界引导线性注意力模块中,得到第一阶段空间特征;

将所述第一阶段空间特征输入到所述空间支路的第二阶段中,得到第二中间空间特征;将所述第二中间空间特征、所述第二阶段语义特征以及所述第二阶段边界特征输入到第二个边界引导线性注意力模块中,得到第二阶段空间特征;

将所述第二阶段空间特征输入到所述空间支路的第三阶段中,得到第三中间空间特征;将所述第三中间空间特征、所述第三阶段语义特征以及所述第三阶段边界特征输入到第三个边界引导线性注意力模块中,得到第三阶段空间特征。

4.根据权利要求2所述的方法,其特征在于,所述边界支路的每个阶段包括一个双向边界门控模块;

将所述浅层特征输入到所述边界支路中,得到第一阶段边界特征、第二阶段边界特征和第三阶段边界特征,包括:将所述浅层特征输入到所述边界支路的第一阶段的双向边界门控模块中,得到第一阶段边界特征为:xout=GELU(Cat(fx(xin),fy(xin)))*f(xin)+xin其中,xin代表输入的浅层特征,xout代表双向边界门控模块的输出,f(·),fx(·),fy(·)分别代表常规、横向和纵向卷积边界信息提取,f(xin)=DWConv3×3(xin),fx(xin)=DWConv3×1(Conv1×1(xin)),fy(xin)=DWConv1×3(Conv1×1(xin)),Cat(·)代表拼接操作,GELU(·)代表门控机制;

将所述第一阶段边界特征输入到所述边界支路的第一阶段中,得到第二阶段边界特征;

将所述第二阶段边界特征输入到所述边界支路的第一阶段中,得到第三阶段边界特征。

5.根据权利要求3所述的方法,其特征在于,所述空间支路的第一、二阶段各包括一个堆叠卷积模块,所述空间支路的第三阶段包括一个类瓶颈结构模块;

将所述浅层特征输入到所述空间支路中的第一阶段,得到第一中间空间特征,包括:将所述浅层特征输入到所述空间支路的第一阶段的堆叠卷积模块中,得到第一中间空间特征为:xout'=Conv3×3(Conv3×3(xin))+xin

其中,xout′代表第一中间空间特征,xin代表输入的浅层特征。

6.根据权利要求5所述的方法,其特征在于,将所述第二阶段空间特征输入到所述空间支路的第三阶段中,得到第三中间空间特征,包括:将所述第二阶段空间特征输入到所述空间支路的第三阶段中,得到第三中间空间特征为:xout″=Conv1×1(Conv3×3(Conv1×1(xin′)))+xin′其中,xout″代表第三中间空间特征,xin′代表第二阶段空间特征。

7.根据权利要求3所述的方法,其特征在于,将所述第一中间空间特征、所述第一阶段语义特征以及所述第一阶段边界特征输入到第一个边界引导线性注意力模块中,得到第一阶段空间特征,包括:将所述第一中间空间特征、所述第一阶段语义特征以及所述第一阶段边界特征输入到第一个边界引导线性注意力模块中,得到第一阶段空间特征为:xout″′=attn*xs+xs

attn=Softmax(Resize(fc(xc))+fb(xb))*(1-σ)σ=Sigmoid(fb(xb))

其中,xs,xb,xc分别代表第一中间空间特征、第一阶段边界特征和第一阶段语义特征,xout″′为第一阶段空间特征,fb(·),fc(·)分别为对输入的边界信息和空间信息的映射,σ是输入边界信息的得分,attn是根据语义信息和边界信息计算出的注意力得分,Resize(·)为图像尺寸调整函数。

8.根据权利要求2所述的方法,其特征在于,各阶段的空间特征包括第一节点空间特征、第二阶段空间特征以及第三阶段空间特征;

所述分割网络包括空间分割头和通道注意力机制;

将所述浅层特征和各阶段的空间特征输入到所述分割网络中,得到预测语义分割结果,包括:将所述浅层特征、所述第一节点空间特征、所述第二阶段空间特征以及所述第三阶段空间特征拼接后输入到所述通道注意力机制进行特征融合,得到融合特征;

将所述融合特征通过所述空间分割头进行预测,得到预测语义分割结果。

9.根据权利要求8所述的方法,其特征在于,所述分割网络还包括边界辅助分割头和空间辅助分割头;

所述边界辅助分割头和所述空间辅助分割头在所述特征提取网络的边界支路和空间支路的第二个阶段;

根据所述训练样本的标注和所述预测语义分割结果对所述遥感图像语义分割网络进行反向训练,得到训练好的遥感图像语义分割网络,包括:构建总损失函数,所述总损失函数是边界辅助分割头损失函数、空间辅助分割头损失函数以及空间分割头损失函数的加权和;所述空间辅助分割头损失函数以及空间分割头损失函数采用交叉熵损失函数,所述边界辅助分割头损失函数采用二值交叉熵损失函数;

根据所述训练样本的标注、所述预测语义分割结果和所述总损失函数,对所述遥感图像语义分割网络进行反向训练,得到训练好的遥感图像语义分割网络。

10.根据权利要求1所述的方法,其特征在于,所述语义支路的第一阶段和第二阶段均包括若n个堆叠卷积模块,第三阶段包括二个类瓶颈结构模块和1个并行聚合金字塔池化模块。