1.一种基于高分辨率高光谱视频融合成像装置的高分辨率高光谱视频融合成像方法,其特征在于,所述高分辨率高光谱视频融合成像装置包括镜头(1)、分光器件(2)和多个成像芯片,所述多个成像芯片包括全色CCD芯片(5)和至少一个像元级马赛克镀膜CCD芯片,所述镜头(1)捕获目标的反射光线后经过分光器件(2)分为多束,并分别通过多个成像芯片接收并转换为电信号,所述高分辨率高光谱视频融合成像方法包括下述步骤:S101,获取三个成像芯片获得原始图像中最大重叠视场对应的裁剪对齐图像;
S102,将多个像元级马赛克镀膜CCD芯片的裁剪对齐图像组成单一波段的图像并进行堆叠得到低分辨率高光谱图像,插值至最大重叠视场对应的裁剪对齐图像的大小得到插值后的低分辨率高光谱图像X;
S103,将全色CCD芯片(5)的裁剪对齐图像作为高分辨率全色图像Y,与低分辨率高光谱图像X融合获得高分辨率高光谱图像Z;
步骤S102中将多个像元级马赛克镀膜CCD芯片的裁剪对齐图像组成单一波段的图像并进行堆叠得到低分辨率高光谱图像时,包括将个像元级马赛克镀膜CCD芯片的裁剪对齐图像组成单一波段的图像,总的波段数量为c1,组成的任意第个波段的图像尺寸大小为,且其中任意像素坐标位置处对应的像素值的计算函数表达式为:,
上式中,为a/ c2的上取整,使得为F1或F2, F1和F2分别为第一像元级马赛克镀膜CCD芯片(3)、第二像元级马赛克镀膜CCD芯片(4)的裁剪对齐图像,为(a-1)/n的下取整,a为波段的序号,c2为总的波段数量c1的一半。
2.根据权利要求1所述的高分辨率高光谱视频融合成像方法,其特征在于,步骤S101中获取三个成像芯片获得原始图像中最大重叠视场对应的裁剪对齐图像包括:根据对高分辨率高光谱视频融合成像装置利用预先标定得到的标定参数,对三个成像芯片获得原始图像进行去畸变并获得三个成像芯片的最大重叠视场,然后分别从原始图像中裁剪出最大重叠视场对应的裁剪对齐图像。
3.根据权利要求1所述的高分辨率高光谱视频融合成像方法,其特征在于,步骤S102中插值至最大重叠视场对应的裁剪对齐图像的大小得到插值后的低分辨率高光谱图像X时,包括针对插值后的低分辨率高光谱图像X中的每一个待插值目标点估计像素值并进行像素值补全,且针对每一个待插值目标点估计像素值包括:S201,计算待插值目标点和个相邻像素点之间的欧氏距离;
S202,将计算出的欧式距离代入下式的一维高斯函数得到第个相邻像素点的权值:,
上式中,表示方差,表示尺度因子,为插值目标点和个相邻像素点中第个相邻像素点之间的欧氏距离,且个相邻像素点的权值总和为1;
S203,根据下式计算待插值目标点的估计像素值:
上式中,为待插值目标点的估计像素值,为低分辨率高光谱图像中待插值目标点的个相邻像素点中第个相邻像素点的像素值。
4.根据权利要求1所述的高分辨率高光谱视频融合成像方法,其特征在于,步骤S103中将全色CCD芯片(5)的裁剪对齐图像作为高分辨率全色图像Y,与低分辨率高光谱图像X融合获得高分辨率高光谱图像Z包括:S301,建立低分辨率高光谱图像X和高分辨率全色图像Y的成像模型:,
,
上式中,为低分辨率高光谱图像X沿图像波段维度展开后的二维矩阵,为高分辨率高光谱图像Z沿图像波段维度展开后的二维矩阵,B为空间模糊操作矩阵,S为空间下采样操作矩阵;为高分辨率全色图像Y沿图像波段维度展开后的二维矩阵,R为光谱下采样操作矩阵;
建立高分辨率高光谱图像Z的低秩子空间表示:
上式中,D表示光谱子空间,为子空间系数矩阵C按通道维度展开后得到的二维矩阵;通过低分辨率高光谱图像X和高分辨率全色图像Y的成像模型以及高分辨率高光谱图像Z的低秩子空间表示,将高分辨率全色图像Y与低分辨率高光谱图像X融合的问题转换为估计光谱子空间D及其子空间系数矩阵C的问题;
S302,求解估计光谱子空间D及其子空间系数矩阵C的问题;
其中求解估计光谱子空间D的问题包括:
1)对低分辨率高光谱图像X进行奇异值分解:
,
上式中,和为酋矩阵,为对角矩阵;
2)保留对角矩阵中指定数量个最大的奇异值,得到以下低维分解:,
上式中,为低分辨率高光谱图像X的低维部分,为酋矩阵的低维部分,为对角矩阵的低维部分,为酋矩阵的低维部分,且有:,,;
3)将酋矩阵的低维部分作为估计光谱子空间D;
其中求解子空间系数矩阵C的问题包括:
1)建立求解子空间系数矩阵C的优化问题模型:
,
上式中,表示对子空间系数矩阵C的先验约束;
2)将高分辨率全色图像Y分割为若干个空间大小为的图形块,然后采用聚类方法将这些图像块聚类为类图像块:,
上式中,为第类图像块,为第类的第j个图像块,为第类图像块中的相似图像块数量,N为聚类的簇数;
3)基于高分辨率高光谱图像Z和子空间系数矩阵C具有相同的Frobenius范数,根据从高分辨率全色图像Y中聚类学到的图像块聚类结构应用到子空间系数矩阵C得到:,
上式中,为第类系数块,为第类的第j个系数块,且空间位置和第类的第j个图像块相同,各个第类系数块构成张量,张量的三个维度分别代表第类中相似系数块的数量、光谱子空间维度以及图像块的像素数量;
4)对张量施加张量低秩先验约束,将求解子空间系数矩阵C的优化问题模型转换为求解以下优化问题:,
上式中,为正则化参数,为张量秩的正则项,为子空间系数矩阵C按通道维度展开后得到的二维矩阵;为优化问题引入一个交替方向乘子法求解所需的额外的变量,并得到增广拉格朗日函数:上式中,为增广拉格朗日函数,是惩罚因子,是拉格朗日乘子,为张量的在变量V形式下的表示;
5)将增广拉格朗日函数的最小化优化转化为迭代求解以下几个子问题:子问题(a):估计子空间系数矩阵C按通道维度展开后得到的二维矩阵:,
上式中,和分别是张量和的三维展开矩阵;
子问题(b):估计变量:
,
子问题(c):估计变量:
,
6)通过交替方向乘子法针对所述几个子问题依次交替迭代更新变量、以及,当迭代轮数达到预设的最大迭代次数时,得到最终的子空间系数矩阵C按通道维度展开后得到的二维矩阵;
S303,根据估计光谱子空间D以及最终的子空间系数矩阵C按通道维度展开后得到的二维矩阵,根据得到高分辨率高光谱图像Z沿图像波段维度展开后的二维矩阵,作为高分辨率全色图像Y与低分辨率高光谱图像X融合获得高分辨率高光谱图像Z。
5.根据权利要求1所述的高分辨率高光谱视频融合成像方法,其特征在于,所述像元级马赛克镀膜CCD芯片均包括CCD芯片和设于CCD芯片入光侧的像元级马赛克镀膜。
6.根据权利要求2所述的高分辨率高光谱视频融合成像方法,其特征在于,所述像元级马赛克镀膜由多个像元级马赛克单元重复排列构成,且像元级马赛克单元由多个像元级马赛克组成,且像元级马赛克单元中不同像元级马赛克的过滤波段不同。
7.一种高分辨率高光谱视频融合成像系统,包括相互连接的微处理器和存储器,其特征在于,所述微处理器被编程或配置以执行权利要求1~4中任意一项所述高分辨率高光谱视频融合成像方法。
8.一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其特征在于,所述计算机程序用于被微处理器编程或配置以执行权利要求1~4中任意一项所述高分辨率高光谱视频融合成像方法。