1.一种基于深度学习的全色与多光谱图像融合方法,其特征在于,包括:获取待融合的全色图像和多光谱图像;
将所述全色图像和多光谱图像输入预训练的图像融合模型中,获得融合后的遥感图像;
其中,所述图像融合模型包括空间结构增强网络和光谱信息调整网络两部分,所述空间结构增强网络基于卷积神经网络,其使用不同种类卫星的遥感图像训练集进行训练;所述光谱信息调整网络包括若干分支网络,每个分支网络利用特定种类卫星的遥感图像进行训练,通过将空间结构增强网络和光谱信息调整网络的输出结果点乘,获得融合图像。
2.如权利要求1所述的一种基于深度学习的全色与多光谱图像融合方法,其特征在于,所述空间结构增强网络的输入为全色图像和初始多光谱图像,全色图像和初始多光谱图像首先进行堆叠操作得到图像M,中间采用4个卷积模块,进行空间信息的提取,所述卷积模块间进行密集连接,将M输入第一个卷积模块,输出为ms2;M与第一个卷积模块的输出ms2堆叠,输入第二个卷积模块,输出为ms3;M与ms2、ms3堆叠,输入第三个卷积模块,输出为ms4;M与ms2、ms3、ms4堆叠,作为输入,输入第四个卷积模块,输出为ms5;将全色图像本身进行四次堆叠,输出为pan2;然后pan2与ms5相加,输出结果为HRMS1。
3.如权利要求1所述的一种基于深度学习的全色与多光谱图像融合方法,其特征在于,所述光谱信息调整网络将所述空间结构增强网络的输出输入特定分支进行处理,每一个分支网络包括,32个3×3滤波器的卷积层,全局平均池化层,和两个全连接层,4个3×3滤波器的卷积层;所述光谱信息调整网络对所述空间结构增强网络进行每个通道的调整,输出结果为Mask。
4.如权利要求1所述的一种基于深度学习的全色与多光谱图像融合方法,其特征在于,所述空间结构增强网络的输出结果HRMS1与光谱信息调整网络的输出结果Mask点乘,点乘结果为最终高分辨率多光谱图像HRMS。
5.如权利要求1所述的一种基于深度学习的全色与多光谱图像融合方法,其特征在于,对于获取的待融合的全色图像和多光谱图像需要进行预处理操作,将将低空间分辨率的多光谱图像进行四倍上采样操作得到与全色图像尺寸相同的初始多光谱图像。
6.一种基于深度学习的全色与多光谱图像融合系统,其特征在于,包括:图像获取单元,其用于获取待融合的全色图像和多光谱图像;
图像融合单元,其用于将所述全色图像和多光谱图像输入预训练的图像融合模型中,获得融合后的遥感图像;
其中,所述图像融合模型包括空间结构增强网络和光谱信息调整网络两部分,所述空间结构增强网络基于卷积神经网络,其使用不同种类卫星的遥感图像训练集进行训练;所述光谱信息调整网络包括若干分支网络,每个分支网络利用特定种类卫星的遥感图像进行训练,通过将空间结构增强网络和光谱信息调整网络的输出结果点乘,获得融合图像。
7.如权利要求6所述的一种基于深度学习的全色与多光谱图像融合系统,其特征在于,所述空间结构增强网络的输入为全色图像和初始多光谱图像,全色图像和初始多光谱图像首先进行堆叠操作得到图像M,中间采用4个卷积模块,进行空间信息的提取,所述卷积模块间进行密集连接,将M输入第一个卷积模块,输出为ms2;M与第一个卷积模块的输出ms2堆叠,输入第二个卷积模块,输出为ms3;M与ms2、ms3堆叠,输入第三个卷积模块,输出为ms4;M与ms2、ms3、ms4堆叠,作为输入,输入第四个卷积模块,输出为ms5;将全色图像本身进行四次堆叠,输出为pan2;然后pan2与ms5相加,输出结果为HRMS1。
8.如权利要求6所述的一种基于深度学习的全色与多光谱图像融合系统,其特征在于,所述光谱信息调整网络将所述空间结构增强网络的输出输入特定分支进行处理,每一个分支网络包括,32个3×3滤波器的卷积层,全局平均池化层,和两个全连接层,4个3×3滤波器的卷积层;所述光谱信息调整网络对所述空间结构增强网络进行每个通道的调整,输出结果为Mask。
9.一种电子设备,包括存储器、处理器及存储在存储器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1‑4任一项所述的一种基于深度学习的全色与多光谱图像融合方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1‑4任一项所述的一种基于深度学习的全色与多光谱图像融合方法。