1.一种基于高光谱和多光谱图像融合生成高光谱图像的方法,其特征在于,包括:
1)将输入的高光谱图像Y进行子空间分解以提取得到待生成的高光谱图像的左低秩向量U;将输入的多光谱图像Z通过训练好的深度生成网络,生成待生成的高光谱图像的右低秩向量V;
2)将待生成的高光谱图像的左低秩向量U和右低秩向量V融合生成高光谱图像X;
步骤1)中的深度生成网络包括正向运算单元和逆向运算单元,所述正向运算单元和逆向运算单元均由依次级联的多个二维卷积层构成,且所述正向运算单元的多个二维卷积层尺度从大大小排列布置,所述逆向运算单元的多个二维卷积层尺度从小到大排列布置,所述正向运算单元和逆向运算单元两者之间相同尺度的二维卷积层以跳跃连接的方式进行连接,内部相邻的二维卷积层则通过对应的上采样和下采样运算连接,多光谱图像Z从正向运算单元中尺度最大的二维卷积层输入、逆向运算单元尺度最大的二维卷积层输出右低秩向量V;
步骤1)中将输入的高光谱图像Y进行子空间分解具体是指将输入的高光谱图像Y进行奇异值分解,并将奇异值分解得到的左奇异向量作为待生成的高光谱图像的左低秩向量U;且将输入的高光谱图像Y进行奇异值分解的函数表达式为:Y=U1Σ1V1
上式中,U1为左奇异向量组成的矩阵,Σ1为奇异值组成的对角矩阵,V1为右奇异向量组成的矩阵的转置。
2.根据权利要求1所述的基于高光谱和多光谱图像融合生成高光谱图像的方法,其特征在于,每一个二维卷积层内部都依次包含一次二维卷积、一次二维批标准化、一次线性整流以及一次下采样。
3.根据权利要求2所述的基于高光谱和多光谱图像融合生成高光谱图像的方法,其特征在于,步骤1)中的深度生成网络训练所采用的损失函数为均方根误差RMSE。
4.根据权利要求1所述的基于高光谱和多光谱图像融合生成高光谱图像的方法,其特征在于,步骤1)中的高光谱图像Y为来自高光谱视频中的图像帧,且基于高光谱视频中的原始图像帧获得高光谱图像Y包括:对高光谱视频中的原始图像帧根据张正友标定法获取的成像传感器的畸变系数矩阵进行图像去畸变操作,裁剪各光谱波段图像对齐并按波段顺序堆叠,以获得高光谱图像Y。
5.根据权利要求1所述的基于高光谱和多光谱图像融合生成高光谱图像的方法,其特征在于,步骤1)中的多光谱图像Z为来自多光谱视频中的图像帧,且基于多光谱视频中的原始图像帧获得多光谱图像Z包括:对多光谱视频中的原始图像帧根据张正友标定法获取的成像传感器的畸变系数矩阵进行图像去畸变操作,并根据与高光谱图像Y的对应关系裁剪出与高光谱图像Y的相同区域以获得多光谱图像Z。
6.一种用于权利要求1~5中任意一项所述的基于高光谱和多光谱图像融合生成高光谱图像的系统,其特征在于,包括主镜(1)、光阑(2)、分光器件(3)、准直镜头(4)、滤光片阵列和微透镜阵列(5)、高光谱图像传感器(6)、反光镜(7)、成像镜头(8)和多光谱图像传感器(9),所述主镜(1)捕获的光线经过光阑(2)、分光器件(3)后被分成两路,一路光线依次通过准直镜头(4)、滤光片阵列和微透镜阵列(5)后在高光谱图像传感器(6)上成像以获得高光谱视频中的原始图像帧;能够一路光线依次通过反光镜(7)、成像镜头(8)后在多光谱图像传感器(9)上成像以获得多光谱视频中的原始图像帧。
7.一种基于高光谱和多光谱图像融合生成高光谱图像的系统,包括相互连接的处理计算单元和存储器,其特征在于,所述处理计算单元被编程或配置以执行权利要求1~5中任意一项所述基于高光谱和多光谱图像融合生成高光谱图像的方法的步骤。
8.一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其特征在于,所述计算机程序用于被处理计算单元编程或配置以执行权利要求1~5中任意一项所述基于高光谱和多光谱图像融合生成高光谱图像的方法的步骤。