1.一种基于位置注意力和多尺度残差特征的遥感影像建筑物提取方法,其特征在于,包括以下步骤:
Step1:预处理遥感影像数据集,获取遥感影像数据集,根据得到的遥感影像数据集制作遥感影像样本标签,将RGB遥感影像数据集与对应的在所制作的遥感影像单通道数字标签分别进行垂直翻转的数据增强操作;
Step2:建FCM-Net遥感影像建筑物提取模型,首先提取原始遥感图像特征,其次,根据得到的图像特征增强建筑物坐标信息并提取不同尺度的特征信息,最后还原原始遥感图像的空间结构;
原始遥感影像的特征提取时特征编码模块的运行与构建过程为:
Step2.1.1:由Step1预处理之后的遥感影像数据集输入X0,0中,由conv+BN+FPReLu激活函数组合操作,通道数变为64,加上一次下采样操作;得到大小为得到2具有浅层特征的遥感影像特征图X0,并将X0并输入X1,0中;
Step2.1.1中FPReLu激活函数的表达式为:
在FPReLu激活函数的特点是引入T(x)二维空间条件,以及一个能随计算改变的随机参数;
Step2.1.2输入X1,0中的具有浅层特征的遥感影像特征图重复X0,0中的操作流程,输出相比X0,0更为深层特征的输出结果X1,在得到输出结果X1之后以线性顺序前者输出作为后者输入,依次经过X2,0、X3,0和X4,0;每一次都有比上一个节点输出更具有深层特征的遥感影像特征图,X4,0的输出结果为遥感影像深层特征图X4;
Step2.1.3:从X1,0输出的浅层遥感影像特征图X1至X4,0输出的深层遥感影像特征图X4的每一层输出结果都将复制一份,输入至FCM-Net网络的坐标信息增强与多尺度残差模块,其中X0,0的输出结果会复制四份进入特征解码模块,即提取到了原始遥感图像特征;
坐标信息增强与多尺度残差模块的运行与构建过程为;
Step2.2.1:由X1,0输出时复制的浅层遥感影像特征图X1进入坐标信息增强与多尺度残差模块中的CA中,处理得到遥感影像坐标信息图,并将得到的遥感影像坐标信息图输入特征解码模块进行处理得到遥感影像坐标信息图C1;
浅层遥感影像特征图X2、由X3,0输出的浅层遥感影像特征图X3和X4,0输出的深层遥感影像特征图X4进入坐标信息增强与多尺度残差模块后,都会进入相同的MRASSP中;由特征编码模块输入至多残差连接机制的空洞空间金字塔池化模块的遥感影像特征图,会进入四个具有不同空洞率的并行卷积层,并将每个单独采样率提取的特征信息融合得到最终的遥感影像多尺度特征图;
Step2.2.3:在特征图输入至MRASSP中后,会被并行进行五种操作;
Step2.2.4:进行空洞卷积并行提取特征处理的L2、L3、L4与L5处理流程方向,都是第一步进行1×1的卷积操作,但在进行第二步时,为了采集到原遥感特征图的多尺度特征,再进行3×3的卷积操作,且四个方向3×3卷积的采样率的分别设置为6、12、18和24,末尾为1×1的卷积操作;
Step2.2.5:在L2、L3、L4与L5处理流程方向都设置残差机制,将原特征图与L2、L3、L4与L5处理流程方向的多采样特征处理结果,并对多采样特征处理结果进行融合操作,分别得到L2、L3、L4与L5处理流程方向的最终处理结果;
Step2.2.6:L1处理流程方向只有残差机制,将输入MRASSP中原特征图与L2、L3、L4与L5处理流程方向的结果进行融合,即将多采样特征与原始特征融合;
Step2.2.7从特征编码模块X1,0的输出经坐标信息增强与多尺度残差模块处理后成为遥感影像坐标信息图C1;而X2,0、X3,0和X4,0的输出经坐标信息增强与多尺度残差模块处理后分别成为遥感影像多尺度特征图M1、遥感影像多尺度特征图M2和遥感影像多尺度特征图M3,最后,坐标信息增强与多尺度残差模块的输出的遥感影像坐标信息图与遥感影像多尺度特征图输入至特征解码模块中,即完成增强建筑物坐标信息并提取不同尺度的特征信息;
还原原始遥感图像的空间结构时FCM-Net特征解码模块的运行与构建过程为:
Step2.3.1:在FCM-Net特征解码模块的第4层中,3号MRASSP输出的遥感影像多尺度特征图M3上采样操作后送至第三层的X3,1中,与第三层2号MRASSP输出的遥感影像多尺度特征图M2进行融合;
Step2.3.2:在FCM-Net特征解码模块的第3层中,2号MRASSP输出的遥感影像多尺度特征图M2首先进行上采样操作还原特征图的大小和维度与第二层一致多尺度特征图M2至第二层的X2,1中,其次与第二层1号MRASSP输出的遥感影像多尺度特征图M1进行融合,最后输出至X3,1中的融合操作;
Step2.3.3:在FCM-Net特征解码模块的第2层中,1号MRASSP输出的遥感影像多尺度特征图M1机芯采样之后送至X1,1,并由跳跃连接至X2,1和X2,2;X2,1的结果上采样至X1,2,并跳跃连接至X2,2;X2,2输出结果上采样,并将得到的遥感影像多尺度特征图M1送至X1,3;
Step2.3.4在FCM-Net特征解码模块的第1层中,CA输出的遥感影像坐标信息图C1上采样之后、送至X0,1中,且通过跳跃连接至X1,1、X1,2和X1,3中;X1,1输出结果上采样之后再送至X0,2中,且通过跳跃连接至X1,2和X1,3中;X1,2输出结果上采样之后再送至X0,3中,且通过跳跃连接X1,3中;X1,2的输出结果上采样再送至X0,4中进行融合操作;
Step2.3.5:在FCM-Net特征解码模块的在第0层中:从特征编码模块中X0,0输入的遥感影像浅层特征图X0通过跳跃连接输入X0,1中,与CA输出的遥感影像坐标信息图C1的上采样结果进行融合;并通过跳跃连接至X0,2、X0,3和X0,4,参与这三个节点的融合操作;X0,2和X0,3节点都需要与其在第0层中后面的节点通过跳跃连接进一步处理和参与所在节点的融合操作;
Step2.3.6:特征编码模块所有流程完毕之后,深度监督发挥作用,在第0层的每一个输出块后添加1×1卷积和FPReLu激活函数;即这四个节点的输出分别于Step1中对应的遥感影像样本标签计算Loss损失函数,即二元交叉熵损失函数;
Step2.3.7:由X0,4节点最终输出遥感影像建筑物提取结果;
Step3:遥感影像数据集的划分,将经过Step1预处理的遥感影像数据集,按照比例划分为训练集、验证集和测试集;
Step4:模型训练与验证,在Step2构建的构建FCM-Net遥感影像建筑物提取模型基础上训练并更新各层的参数,先初始化所有神经网络参数,设置模型相关的超参数;
Step5:应用训练完成后的FCM-Net算法模型提取遥感影像建筑物。
2.根据权利要求1所述的一种基于位置注意力和多尺度残差特征的遥感影像建筑物提取方法,其特征在于,Step1中在制作遥感影像样本标签的时候执行以下步骤:Step1.1:使用Labelme手动标注图像,生成遥感图像分割数据集;标注完成后,使用labelme2voc脚本把标注完成后所生成的JSON文件批量转换为语义分割数据集,并将遥感图像分割数据集中的RGB彩色标签转换为对应的遥感影像单通道数字标签;
Step1.2:对得到的遥感影像翻转预处理时,是将RGB遥感影像数据集与对应的在Step1.1所制作的遥感影像单通道数字标签分别进行垂直翻转的数据增强操作。
3.根据权利要求1所述的一种基于位置注意力和多尺度残差特征的遥感影像建筑物提取方法,其特征在于,FCM-Net网络模型包括特征编码模块、坐标信息增强与多尺度残差块;
特征编码模块由X0,0、X1,0、X2,0、X3,0和X4,0组成;
坐标信息增强与多尺度残差模块由一个坐标注意力CA与三个多残差连接机制的空洞空间金字塔池化模块MRASSP组成;
Step2中的原始遥感影像的特征提取和还原原始遥感图像的空间结构均是由FCM-Net的特征编码模块完成;
Step2中增强建筑物坐标信息并提取不同尺度的特征信息由FCM-Net算法的坐标信息增强与多尺度残差模块完成。
4.根据权利要求1所述的一种基于位置注意力和多尺度残差特征的遥感影像建筑物提取方法,其特征在于,Step3中的训练集、验证集和测试集是互不包含的数据。
5.根据权利要求1所述的一种基于位置注意力和多尺度残差特征的遥感影像建筑物提取方法,其特征在于,设置模型相关的超参数包括但不限于训练轮次、批处理的大小、优化器的选用、学习率的大小、梯度剪裁策略的最大值。
6.根据权利要求1所述的一种基于位置注意力和多尺度残差特征的遥感影像建筑物提取方法,其特征在于,Step5中的输入由卫星采集的遥感影像数据,通过对遥感影像所得到遥感图像预处理和输入遥感影像建筑物提取模型FCM-Net,输出得到遥感影像中建筑物的提取结果。