1.一种遥感影像超分辨重建方法,其特征在于,包括如下步骤:
通过卫星获得原始遥感影像,并对所述原始遥感影像进行裁剪处理,得到多个遥感裁剪影像;
分别对多个所述遥感裁剪影像进行下采样处理,得到与所述遥感裁剪影像对应的低分辨率影像;
构建训练网络,根据各个所述遥感裁剪影像和所述低分辨率影像对所述训练网络进行参数更新,得到与所述低分辨率影像对应的目标训练网络;
通过各个所述目标训练网络分别对所述低分辨率影像进行训练,得到多个训练后的超分辨率影像;
将多个所述训练后的超分辨率影像进行拼接,得到超分辨率最终影像;
所述训练网络包括生成器和判别器;
所述构建训练网络,根据各个所述遥感裁剪影像和所述低分辨率影像对所述训练网络进行参数更新,得到与所述低分辨率影像对应的目标训练网络的过程包括:将多个所述低分辨率影像分别输入至所述生成器中,通过所述生成器分别对各个所述低分辨率影像进行影像重建处理,得到与所述低分辨率影像对应的超分辨率影像;
将各个所述超分辨率影像和对应的所述遥感裁剪影像划分为一组输入数据,从而得到多组输入数据,将多组所述输入数据分别输入至所述判别器中,通过所述判别器分别对各个所述输入数据进行真伪分析,得到多个真伪判别概率;
根据多个所述真伪判别概率分别更新所述生成器和所述判别器的网络参数,得到与所述低分辨率影像对应的目标训练网络;
所述生成器包括主线网络和支线网络;
所述将多个所述低分辨率影像分别输入至所述生成器中,通过所述生成器分别对各个所述低分辨率影像进行影像重建处理,得到与所述低分辨率影像对应的超分辨率影像的过程包括:将多个所述低分辨率影像分别输入至所述主线网络中,通过所述主线网络分别对多个所述低分辨率影像进行特征提取,得到与所述低分辨率影像对应的多个主线特征矩阵;
分别对多个所述低分辨率影像进行边缘特征检测,得到与各个所述低分辨率影像对应的边缘特征影像;
分别将各个所述边缘特征影像和对应的多个所述主线特征矩阵一并输入至所述支线网络中,通过所述支线网络分别对各个所述检测后的低分辨率影像以及对应的多个所述主线特征矩阵进行支线网络的特征提取,得到与所述低分辨率影像对应的多个支线特征矩阵;
分别对与所述低分辨率影像对应的所述多个主线特征矩阵和与所述低分辨率影像对应的所述多个支线特征矩阵进行特征融合计算,得到与所述低分辨率影像对应的融合特征矩阵;
将各个所述融合特征矩阵分别输入至1×1卷积层中,通过所述1×1卷积层分别对各个所述融合特征矩阵进行空间维度的降低处理,得到与所述低分辨率影像对应的处理后的融合特征矩阵;
通过亚像素卷积层分别对各个所述处理后的融合特征矩阵进行上采样处理,得到与所述低分辨率影像对应的超分辨率影像;
所述主线网络包括主线卷积层、主线PReLU激活函数层和多个主线RDB密集残差模块,多个所述主线RDB密集残差模块顺序连接;
所述将多个所述低分辨率影像分别输入至所述主线网络中,通过所述主线网络分别对多个所述低分辨率影像进行特征提取,得到与所述低分辨率影像对应的多个主线特征矩阵的过程包括:将多个所述低分辨率影像分别输入至所述主线卷积层中,通过所述主线卷积层分别对多个所述低分辨率影像进行原始主线特征的特征提取,得到与所述低分辨率影像对应的原始主线特征矩阵;
将多个所述原始主线特征矩阵分别输入至所述主线PReLU激活函数层中,通过所述主线PReLU激活函数层分别对多个所述原始主线特征矩阵进行主线特征值的映射处理,得到与所述低分辨率影像对应的映射主线特征矩阵;
将多个所述映射主线特征矩阵分别输入至首个所述主线RDB密集残差模块中,通过首个所述主线RDB密集残差模块分别对多个所述映射主线特征矩阵进行主线特征矩阵的特征提取,得到与所述低分辨率影像对应的主线特征矩阵,并将所述主线特征矩阵作为下一个映射主线特征矩阵,并输入至下一个所述主线RDB密集残差模块中,通过下一个所述主线RDB密集残差模块对所述下一个所述映射主线特征矩阵进行主线特征矩阵的特征提取,直至输入至所有所述主线RDB密集残差模块中,得到与所述低分辨率影像对应的多个待排序主线特征矩阵;
按照输出先后的顺序分别对与所述低分辨率影像对应的多个所述待排序主线特征矩阵进行排序,得到所述低分辨率影像对应的多个主线特征矩阵;
所述支线网络包括支线卷积层、支线PReLU激活函数层和多个支线RDB密集残差模块,多个所述支线RDB密集残差模块顺序连接;
所述分别将各个所述检测后的低分辨率影像和对应的多个所述主线特征矩阵一并输入至所述支线网络中,通过所述支线网络分别对各个所述检测后的低分辨率影像以及对应的多个所述主线特征矩阵进行支线网络的特征提取,得到与所述低分辨率影像对应的多个支线特征矩阵的过程包括:将多个所述检测后的低分辨率影像分别输入至所述支线卷积层中,通过所述支线卷积层分别对多个所述检测后的低分辨率影像进行原始支线特征的特征提取,得到与所述低分辨率影像对应的原始支线特征矩阵;
将多个所述原始支线特征矩阵分别输入至所述支线PReLU激活函数层中,通过所述支线PReLU激活函数层分别对多个所述原始支线特征矩阵进行支线特征值的映射处理,得到与所述低分辨率影像对应的映射支线特征矩阵;
分别将各个所述映射支线特征矩阵以及对应的首个所述主线特征矩阵一并输入至首个所述支线RDB密集残差模块中,通过首个所述支线RDB密集残差模块分别对各个所述映射支线特征矩阵以及对应的首个所述主线特征矩阵进行支线特征提取的计算,得到与所述低分辨率影像对应的支线特征矩,并将所述支线特征矩作为下一个映射支线特征矩阵,并与下一个所述主线特征矩阵一并输入至下一个所述支线RDB密集残差模块中,通过下一个所述支线RDB密集残差模块分别对各个所述下一个映射支线特征矩阵以及对应的下一个所述主线特征矩阵进行支线特征提取的计算,直至输入至所有所述支线RDB密集残差模块中,得到与所述低分辨率影像对应的多个支线特征矩,具体为:通过第一式分别对各个所述映射支线特征矩阵以及对应的所述主线特征矩阵进行支线特征提取的计算,得到与所述低分辨率影像对应的支线特征矩,所述第一式为:其中,μ为比例系数, 为第n个映射支线特征矩阵, 为第n个主线特征矩阵, 为第n+1个支线特征矩阵;
所述将多组所述输入数据分别输入至所述判别器中,通过所述判别器分别对各个所述输入数据进行真伪分析,得到多个真伪判别概率的过程包括:将多个所述遥感裁剪影像分别输入至所述判别器中,通过所述判别器分别对多个所述遥感裁剪影像进行判别器的参数更新,得到与所述遥感裁剪影像对应的更新后的判别器;
将多个所述超分辨率影像分别输入至所述更新后的判别器中,通过所述更新后的判别器分别对多个所述超分辨率影像进行真伪判别处理,得到多个真伪判别概率;
所述更新后的判别器包括第一卷积层、第一LeakyReLu激活函数层、第二卷积层、BN层、第二LeakyReLu激活函数层、多个密集连接块、全连接层和igmoid激活函数层,多个所述密集连接块顺序连接;
所述将多个所述超分辨率影像分别输入至所述更新后的判别器中,通过所述更新后的判别器分别对多个所述超分辨率影像进行真伪判别处理,得到多个真伪判别概率的过程包括:将多个所述超分辨率影像分别输入至所述第一卷积层中,通过所述第一卷积层分别对多个所述超分辨率影像进行第一卷积层的特征提取,得到多个原始特征矩阵;
将多个所述原始特征矩阵分别输入至所述第一LeakyReLu激活函数层中,通过所述第一LeakyReLu激活函数层分别对多个所述原始特征矩阵进行第一LeakyReLu激活函数层特征值的映射处理,得到多个原始映射特征矩阵;
将多个所述原始映射特征矩阵分别输入至所述第二卷积层中,通过所述第二卷积层分别对多个所述原始映射特征矩阵进行第二卷积层的特征提取,得到多个优化特征矩阵;
将多个所述优化特征矩阵输入至所述BN层中,通过所述BN层分别对多个所述优化特征矩阵进行归一化处理,得到多个归一化特征矩阵;
将多个所述归一化特征矩阵分别输入至所述第二LeakyReLu激活函数层中,通过所述第二LeakyReLu激活函数层分别对多个所述归一化特征矩阵进行第二LeakyReLu激活函数层特征值的映射处理,得到多个归一化映射特征矩阵;
将多个所述归一化映射特征矩阵分别输入至首个所述密集连接块中,通过首个所述密集连接块分别对多个所述归一化映射特征矩阵进行深层特征提取,得到多个深层特征提取后的特征矩阵,并将所述深层特征提取后的特征矩阵作为下一个归一化映射特征矩阵,并输入至下一个所述密集连接块中,通过下一个所述密集连接块对所述下一个映射主线特征矩阵进行深层特征提取,直至输入至所有所述密集连接块中,得到多个深层特征提取后的特征矩阵;
将多个所述深层特征提取后的特征矩阵输入至所述全连接层中,通过所述全连接层分别对多个所述深层特征提取后的特征矩阵进行单列矩阵转化,得到多个单列特征矩阵;
将多个所述单列特征矩阵分别输入至所述igmoid激活函数层中,通过所述igmoid激活函数层分别对多个所述单列特征矩阵进行概率转化,得到多个真伪判别概率。
2.根据权利要求1所述的遥感影像超分辨重建方法,其特征在于,所述分别对与所述低分辨率影像对应的所述多个主线特征矩阵和与所述低分辨率影像对应的所述多个支线特征矩阵进行特征融合计算,得到与所述低分辨率影像对应的融合特征矩阵的过程包括:通过第二式分别对与所述低分辨率影像对应的所述多个主线特征矩阵和与所述低分辨率影像对应的所述多个支线特征矩阵进行特征融合计算,得到与所述低分辨率影像对应的融合特征矩阵,所述第二式为:其中, 为第i个主线特征矩阵, 为第i个支线特征矩阵,μn为二阶段融合的比例系数, 为融合特征矩阵,m为主线特征矩阵的数量。
3.一种遥感影像超分辨重建装置,其特征在于,包括:
影像裁剪模块,用于通过卫星获得原始遥感影像,并对所述原始遥感影像进行裁剪处理,得到多个遥感裁剪影像;
下采样处理模块,用于分别对多个所述遥感裁剪影像进行下采样处理,得到与所述遥感裁剪影像对应的低分辨率影像;
参数更新模块,用于构建训练网络,根据各个所述遥感裁剪影像和所述低分辨率影像对所述训练网络进行参数更新,得到与所述低分辨率影像对应的目标训练网络;
网络训练模块,用于通过各个所述目标训练网络分别对所述低分辨率影像进行训练,得到多个训练后的超分辨率影像;
超分辨率影像获得模块,用于将多个所述训练后的超分辨率影像进行拼接,得到超分辨率最终影像;
所述训练网络包括生成器和判别器;
所述参数更新模块具体用于:
将多个所述低分辨率影像分别输入至所述生成器中,通过所述生成器分别对各个所述低分辨率影像进行影像重建处理,得到与所述低分辨率影像对应的超分辨率影像;
将各个所述超分辨率影像和对应的所述遥感裁剪影像划分为一组输入数据,从而得到多组输入数据,将多组所述输入数据分别输入至所述判别器中,通过所述判别器分别对各个所述输入数据进行真伪分析,得到多个真伪判别概率;
根据多个所述真伪判别概率分别更新所述生成器和所述判别器的网络参数,得到与所述低分辨率影像对应的目标训练网络;
所述生成器包括主线网络和支线网络;
所述参数更新模块中,将多个所述低分辨率影像分别输入至所述生成器中,通过所述生成器分别对各个所述低分辨率影像进行影像重建处理,得到与所述低分辨率影像对应的超分辨率影像的过程包括:将多个所述低分辨率影像分别输入至所述主线网络中,通过所述主线网络分别对多个所述低分辨率影像进行特征提取,得到与所述低分辨率影像对应的多个主线特征矩阵;
分别对多个所述低分辨率影像进行边缘特征检测,得到与各个所述低分辨率影像对应的边缘特征影像;
分别将各个所述边缘特征影像和对应的多个所述主线特征矩阵一并输入至所述支线网络中,通过所述支线网络分别对各个所述检测后的低分辨率影像以及对应的多个所述主线特征矩阵进行支线网络的特征提取,得到与所述低分辨率影像对应的多个支线特征矩阵;
分别对与所述低分辨率影像对应的所述多个主线特征矩阵和与所述低分辨率影像对应的所述多个支线特征矩阵进行特征融合计算,得到与所述低分辨率影像对应的融合特征矩阵;
将各个所述融合特征矩阵分别输入至1×1卷积层中,通过所述1×1卷积层分别对各个所述融合特征矩阵进行空间维度的降低处理,得到与所述低分辨率影像对应的处理后的融合特征矩阵;
通过亚像素卷积层分别对各个所述处理后的融合特征矩阵进行上采样处理,得到与所述低分辨率影像对应的超分辨率影像;
所述主线网络包括主线卷积层、主线PReLU激活函数层和多个主线RDB密集残差模块,多个所述主线RDB密集残差模块顺序连接;
所述参数更新模块中,将多个所述低分辨率影像分别输入至所述主线网络中,通过所述主线网络分别对多个所述低分辨率影像进行特征提取,得到与所述低分辨率影像对应的多个主线特征矩阵的过程包括:将多个所述低分辨率影像分别输入至所述主线卷积层中,通过所述主线卷积层分别对多个所述低分辨率影像进行原始主线特征的特征提取,得到与所述低分辨率影像对应的原始主线特征矩阵;
将多个所述原始主线特征矩阵分别输入至所述主线PReLU激活函数层中,通过所述主线PReLU激活函数层分别对多个所述原始主线特征矩阵进行主线特征值的映射处理,得到与所述低分辨率影像对应的映射主线特征矩阵;
将多个所述映射主线特征矩阵分别输入至首个所述主线RDB密集残差模块中,通过首个所述主线RDB密集残差模块分别对多个所述映射主线特征矩阵进行主线特征矩阵的特征提取,得到与所述低分辨率影像对应的主线特征矩阵,并将所述主线特征矩阵作为下一个映射主线特征矩阵,并输入至下一个所述主线RDB密集残差模块中,通过下一个所述主线RDB密集残差模块对所述下一个所述映射主线特征矩阵进行主线特征矩阵的特征提取,直至输入至所有所述主线RDB密集残差模块中,得到与所述低分辨率影像对应的多个待排序主线特征矩阵;
按照输出先后的顺序分别对与所述低分辨率影像对应的多个所述待排序主线特征矩阵进行排序,得到所述低分辨率影像对应的多个主线特征矩阵;
所述支线网络包括支线卷积层、支线PReLU激活函数层和多个支线RDB密集残差模块,多个所述支线RDB密集残差模块顺序连接;
所述参数更新模块中,分别将各个所述检测后的低分辨率影像和对应的多个所述主线特征矩阵一并输入至所述支线网络中,通过所述支线网络分别对各个所述检测后的低分辨率影像以及对应的多个所述主线特征矩阵进行支线网络的特征提取,得到与所述低分辨率影像对应的多个支线特征矩阵的过程包括:将多个所述检测后的低分辨率影像分别输入至所述支线卷积层中,通过所述支线卷积层分别对多个所述检测后的低分辨率影像进行原始支线特征的特征提取,得到与所述低分辨率影像对应的原始支线特征矩阵;
将多个所述原始支线特征矩阵分别输入至所述支线PReLU激活函数层中,通过所述支线PReLU激活函数层分别对多个所述原始支线特征矩阵进行支线特征值的映射处理,得到与所述低分辨率影像对应的映射支线特征矩阵;
分别将各个所述映射支线特征矩阵以及对应的首个所述主线特征矩阵一并输入至首个所述支线RDB密集残差模块中,通过首个所述支线RDB密集残差模块分别对各个所述映射支线特征矩阵以及对应的首个所述主线特征矩阵进行支线特征提取的计算,得到与所述低分辨率影像对应的支线特征矩,并将所述支线特征矩作为下一个映射支线特征矩阵,并与下一个所述主线特征矩阵一并输入至下一个所述支线RDB密集残差模块中,通过下一个所述支线RDB密集残差模块分别对各个所述下一个映射支线特征矩阵以及对应的下一个所述主线特征矩阵进行支线特征提取的计算,直至输入至所有所述支线RDB密集残差模块中,得到与所述低分辨率影像对应的多个支线特征矩,具体为:通过第一式分别对各个所述映射支线特征矩阵以及对应的所述主线特征矩阵进行支线特征提取的计算,得到与所述低分辨率影像对应的支线特征矩,所述第一式为:其中,μ为比例系数, 为第n个映射支线特征矩阵, 为第n个主线特征矩阵, 为第n+1个支线特征矩阵;
所述参数更新模块中,将多组所述输入数据分别输入至所述判别器中,通过所述判别器分别对各个所述输入数据进行真伪分析,得到多个真伪判别概率的过程包括:将多个所述遥感裁剪影像分别输入至所述判别器中,通过所述判别器分别对多个所述遥感裁剪影像进行判别器的参数更新,得到与所述遥感裁剪影像对应的更新后的判别器;
将多个所述超分辨率影像分别输入至所述更新后的判别器中,通过所述更新后的判别器分别对多个所述超分辨率影像进行真伪判别处理,得到多个真伪判别概率;
所述更新后的判别器包括第一卷积层、第一LeakyReLu激活函数层、第二卷积层、BN层、第二LeakyReLu激活函数层、多个密集连接块、全连接层和igmoid激活函数层,多个所述密集连接块顺序连接;
所述将多个所述超分辨率影像分别输入至所述更新后的判别器中,通过所述更新后的判别器分别对多个所述超分辨率影像进行真伪判别处理,得到多个真伪判别概率的过程包括:将多个所述超分辨率影像分别输入至所述第一卷积层中,通过所述第一卷积层分别对多个所述超分辨率影像进行第一卷积层的特征提取,得到多个原始特征矩阵;
将多个所述原始特征矩阵分别输入至所述第一LeakyReLu激活函数层中,通过所述第一LeakyReLu激活函数层分别对多个所述原始特征矩阵进行第一LeakyReLu激活函数层特征值的映射处理,得到多个原始映射特征矩阵;
将多个所述原始映射特征矩阵分别输入至所述第二卷积层中,通过所述第二卷积层分别对多个所述原始映射特征矩阵进行第二卷积层的特征提取,得到多个优化特征矩阵;
将多个所述优化特征矩阵输入至所述BN层中,通过所述BN层分别对多个所述优化特征矩阵进行归一化处理,得到多个归一化特征矩阵;
将多个所述归一化特征矩阵分别输入至所述第二LeakyReLu激活函数层中,通过所述第二LeakyReLu激活函数层分别对多个所述归一化特征矩阵进行第二LeakyReLu激活函数层特征值的映射处理,得到多个归一化映射特征矩阵;
将多个所述归一化映射特征矩阵分别输入至首个所述密集连接块中,通过首个所述密集连接块分别对多个所述归一化映射特征矩阵进行深层特征提取,得到多个深层特征提取后的特征矩阵,并将所述深层特征提取后的特征矩阵作为下一个归一化映射特征矩阵,并输入至下一个所述密集连接块中,通过下一个所述密集连接块对所述下一个映射主线特征矩阵进行深层特征提取,直至输入至所有所述密集连接块中,得到多个深层特征提取后的特征矩阵;
将多个所述深层特征提取后的特征矩阵输入至所述全连接层中,通过所述全连接层分别对多个所述深层特征提取后的特征矩阵进行单列矩阵转化,得到多个单列特征矩阵;
将多个所述单列特征矩阵分别输入至所述igmoid激活函数层中,通过所述igmoid激活函数层分别对多个所述单列特征矩阵进行概率转化,得到多个真伪判别概率。