1.一种多尺度特征融合遥感影像分割方法,其特征在于,所述方法包括:获取高分辨率的遥感影像,以及对所述遥感影像进行标注,得到训练样本;
构建多尺度特征融合遥感影像分割网络;所述多尺度特征融合遥感影像分割网络包括输入网络、编码器以及基于多尺度特征图融合的解码器;所述输入网络用于将所述训练样本分割成固定大小的多个小块图像,并将所述小块图像展开成一维向量并嵌入位置编码得到输入序列;所述编码器用于利用多层Transformer模块提取输入序列不同层次的特征;所述解码器用于将不同层次的特征经过调整形状后通过卷积操作得到不同尺度的特征,并通过拼接操作来融合不同尺度的特征,最后通过多次卷积与上采样得到样本预测结果;
根据所述训练样本的标注和将所述训练样本输入到所述多尺度特征融合遥感影像分割网络得到的样本预测结果,对所述多尺度特征融合遥感影像分割网络进行训练,得到训练好的多尺度特征融合遥感影像分割网络;
获取待测遥感影像,并将所述待测遥感影像输入到训练好的多尺度特征融合遥感影像分割网络中,得到待测遥感影像的预测结果;
其中,步骤:根据所述训练样本的标注和将所述训练样本输入到所述多尺度特征融合遥感影像分割网络得到的样本预测结果,对所述多尺度特征融合遥感影像分割网络进行训练,得到训练好的多尺度特征融合遥感影像分割网络,包括:将所述训练样本输入到所述输入网络中,将所述训练样本分割成固定大小的多个小块图像,并将所述小块图像展开成一维向量后通过线性连接映射调整一维向量的维度,并在维度调整的向量中嵌入位置编码得到输入序列;
将所述输入序列输入到编码器中,得到不同层次的特征;
将所述不同层次的特征输入到基于多尺度特征图融合的解码器中,得到样本预测结果,并根据所述样本预测结果和所述遥感影像的标注对所述多尺度特征融合遥感影像分割网络进行训练,得到训练好的多尺度特征融合遥感影像分割网络;
其中,所述编码器包括b个串联的Transformer模块,每个所述Transformer模块结构相同;所述Transformer模块由多头自注意力模块、层标准化模块以及多层感知机模块构成;
其中b为大于等于1的整数;
步骤:将所述输入序列输入到编码器中,得到不同层次的特征,包括:将所述输入序列输入到第一个Transformer模块中,经过层标准化模块进行处理后得到标准化输入序列,并将所述标准化输入序列采用多头自注意力模块进行特征提取,得到注意力特征,并将所述注意力特征与所述输入序列进行融合得到注意力融合特征,并将所述注意力融合特征采用层标准化模块进行处理,将得到的标准化处理结果输入到多层感知机模块中,并将得到的感知机输出特征与所述注意力融合特征融合,得到第一个Transformer模块输出特征;
将所述第一个Transformer模块输出特征作为第二个Transformer模块的输入序列,并将输入序列输入到第二个Transformer模块中,得到第二个Transformer模块输出特征,依此类推,得到b个由浅到深的图像特征;
在b个由浅到深的图像特征中按照相同的层间隔进行特征选取,得到不同层次的特征;
其中,所述基于多尺度特征图融合的解码器由多尺度特征融合模块和图像尺寸恢复模块组成;
步骤:将所述不同层次的特征输入到基于多尺度特征图融合的解码器中,得到样本预测结果,并根据所述样本预测结果和所述遥感影像的标注对所述多尺度特征融合遥感影像分割网络进行训练,得到训练好的多尺度特征融合遥感影像分割网络,包括:将所述不同层次的特征输入到所述多尺度特征融合模块中,得到多尺度融合特征图;
将所述多尺度融合特征图输入到所述图像尺寸恢复模块中,得到样本预测结果;
根据所述样本预测结果和所述遥感影像的标注对所述多尺度特征融合遥感影像分割网络进行训练,得到训练好的多尺度特征融合遥感影像分割网络;
其中,所述不同层次的特征包括:第s个Transformer模块输出特征、第2s个Transformer模块输出特征、第3s个Transformer模块输出特征以及第b个Transformer模块输出特征;其中s为特征提取的层间隔,s为大于1的整数,b大于3s;
步骤:将所述不同层次的特征输入到所述多尺度特征融合模块中,得到多尺度融合特征图,包括:
将第s个Transformer模块输出特征、第2s个Transformer模块输出特征、第3s个Transformer模块输出特征以及第b个Transformer模块输出特征输入到所述多尺度特征融合模块中,分别将第3s个Transformer模块输出特征和第b个Transformer模块输出特征采用第一特征变换方法进行变换,得到3s层的特征图和b层的第一特征图;其中,所述3s层的特征图和所述b层的第一特征图是大小为 的特征图,其中K为向量长度,H和W分别为特征图的高度和宽度;所述第一特征变换方法是将特征图的每个列向量调整为二维特征图;
分别将第b个Transformer模块输出特征、第s个Transformer模块输出特以及第2s个Transformer模块输出特征采用第二特征变换方法进行变换,得到b层的第二特征图、s层的特征图以及2s层的特征图;所述b层的第二特征图为大小为 的特征图,所述s层的特征图大小为 的特征图,所述2s层的特征图大小为 的特征图;所述第二特征变换方法为将特征图的n个列向量调整为n张特征图,并将n张特征图进行拼接,得到 张特征图;其中n是完全平方数并且能被K整除;
将所述s层的特征图、2s层的特征图、3s层的特征图以及b层的第一特征图分别采用卷积操作,得到s层的卷积特征图、2s层的卷积特征图、3s层的卷积特征图以及b层的第一卷积特征图;
将所述s层的卷积特征图、2s层的卷积特征图、3s层的卷积特征图以及b层的第一卷积特征图进行上采样后与b层的第二特征图进行拼接,得到多尺度融合特征图。
2.根据权利要求1所述的方法,其特征在于,将所述多尺度融合特征图输入到所述图像尺寸恢复模块中,得到样本预测结果,包括:将所述多尺度融合特征图输入到所述图像尺寸恢复模块中,采用渐进式的卷积和上采样操作,将所述多尺度融合特征图恢复至原图像大小,得到样本预测结果;所述渐进式的卷积为三次串行的卷积操作。
3.根据权利要求1‑2中任一项所述的方法,其特征在于,所述多层感知机模块包括两个隐藏层的全连接层和一个GELU激活函数;
所述多头自注意力模块由h个自注意力模块构成;其中h为大于1的整数。
4.一种多尺度特征融合遥感影像分割装置,其特征在于,所述装置包括:遥感影像获取模块,用于获取高分辨率的遥感影像,以及对所述遥感影像进行标注,得到训练样本;
多尺度特征融合遥感影像分割网络构建模块,用于构建多尺度特征融合遥感影像分割网络;所述多尺度特征融合遥感影像分割网络包括输入网络、编码器以及基于多尺度特征图融合的解码器;所述输入网络用于将所述训练样本分割成固定大小的多个小块图像,并将所述小块图像展开成一维向量并嵌入位置编码得到输入序列;所述编码器用于利用多层Transformer模块提取输入序列不同层次的特征;所述解码器用于将不同层次的特征经过调整形状后通过卷积操作得到不同尺度的特征,并通过拼接操作来融合不同尺度的特征,最后通过多次卷积与上采样得到样本预测结果;
多尺度特征融合遥感影像分割网络训练模块,用于根据所述训练样本的标注和将所述训练样本输入到所述多尺度特征融合遥感影像分割网络得到的样本预测结果,对所述多尺度特征融合遥感影像分割网络进行训练,得到训练好的多尺度特征融合遥感影像分割网络;
待测遥感影像的预测结果确定模块,用于获取待测遥感影像,并将所述待测遥感影像输入到训练好的多尺度特征融合遥感影像分割网络中,得到待测遥感影像的预测结果;
其中,多尺度特征融合遥感影像分割网络训练模块,还用于将所述训练样本输入到所述输入网络中,将所述训练样本分割成固定大小的多个小块图像,并将所述小块图像展开成一维向量后通过线性连接映射调整一维向量的维度,并在维度调整的向量中嵌入位置编码得到输入序列;将所述输入序列输入到编码器中,得到不同层次的特征;将所述不同层次的特征输入到基于多尺度特征图融合的解码器中,得到样本预测结果,并根据所述样本预测结果和所述遥感影像的标注对所述多尺度特征融合遥感影像分割网络进行训练,得到训练好的多尺度特征融合遥感影像分割网络;其中,所述编码器包括b个串联的Transformer模块,每个所述Transformer模块结构相同;所述Transformer模块由多头自注意力模块、层标准化模块以及多层感知机模块构成;其中b为大于等于1的整数;
步骤:多尺度特征融合遥感影像分割网络训练模块,还用于将所述输入序列输入到第一个Transformer模块中,经过层标准化模块进行处理后得到标准化输入序列,并将所述标准化输入序列采用多头自注意力模块进行特征提取,得到注意力特征,并将所述注意力特征与所述输入序列进行融合得到注意力融合特征,并将所述注意力融合特征采用层标准化模块进行处理,将得到的标准化处理结果输入到多层感知机模块中,并将得到的感知机输出特征与所述注意力融合特征融合,得到第一个Transformer模块输出特征;将所述第一个Transformer模块输出特征作为第二个Transformer模块的输入序列,并将输入序列输入到第二个Transformer模块中,得到第二个Transformer模块输出特征,依此类推,得到b个由浅到深的图像特征;在b个由浅到深的图像特征中按照相同的层间隔进行特征选取,得到不同层次的特征;
其中,所述基于多尺度特征图融合的解码器由多尺度特征融合模块和图像尺寸恢复模块组成;多尺度特征融合遥感影像分割网络训练模块,还用于将所述不同层次的特征输入到所述多尺度特征融合模块中,得到多尺度融合特征图;将所述多尺度融合特征图输入到所述图像尺寸恢复模块中,得到样本预测结果;根据所述样本预测结果和所述遥感影像的标注对所述多尺度特征融合遥感影像分割网络进行训练,得到训练好的多尺度特征融合遥感影像分割网络;其中,所述不同层次的特征包括:第s个Transformer模块输出特征、第2s个Transformer模块输出特征、第3s个Transformer模块输出特征以及第b个Transformer模块输出特征;其中s为特征提取的层间隔,s为大于1的整数,b大于3s;
多尺度特征融合遥感影像分割网络训练模块,还用于将第s个Transformer模块输出特征、第2s个Transformer模块输出特征、第3s个Transformer模块输出特征以及第b个Transformer模块输出特征输入到所述多尺度特征融合模块中,分别将第3s个Transformer模块输出特征和第b个Transformer模块输出特征采用第一特征变换方法进行变换,得到3s层的特征图和b层的第一特征图;其中,所述3s层的特征图和所述b层的第一特征图是大小为 的特征图,其中K为向量长度,H和W分别为特征图的高度和宽度;所述第一特征变换方法是将特征图的每个列向量调整为二维特征图;分别将第b个Transformer模块输出特征、第s个Transformer模块输出特以及第2s个Transformer模块输出特征采用第二特征变换方法进行变换,得到b层的第二特征图、s层的特征图以及2s层的特征图;所述b层的第二特征图为大小为 的特征图,所述s层的特征图大小为 的特征图,所述2s层的特征图大小为 的特征图;所述第二特征变换方法为将特征图的n个列向量调整为n张特征图,并将n张特征图进行拼接,得到 张特征图;其中n是完全平方数并且能被K整除;将所述s层的特征图、2s层的特征图、3s层的特征图以及b层的第一特征图分别采用卷积操作,得到s层的卷积特征图、2s层的卷积特征图、3s层的卷积特征图以及b层的第一卷积特征图;
将所述s层的卷积特征图、2s层的卷积特征图、3s层的卷积特征图以及b层的第一卷积特征图进行上采样后与b层的第二特征图进行拼接,得到多尺度融合特征图。
5.一种设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述方法的步骤。
6.一种计算机可读存储器,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至3中任一项所述方法的步骤。