1.一种适应曝光变化的深度学习光谱重建方法,其特征在于,包括如下步骤:步骤1,收集现有公开的多光谱图像数据集;
步骤2,以数码相机理论成像模型为基础,计算每幅多光谱图像对应的raw格式数字图像;
步骤3,以多光谱图像与其对应的raw格式图像为基础,构成包含成对数据的完整样本集;
步骤4,将完整样本集按照M:N的比例,分为训练样本集和验证样本集;
步骤5,构建深度学习光谱重建模型框架;
步骤6,利用训练样本集对模型进行训练;
步骤7,模型训练过程中,利用损失函数结果对模型参数进行调整;
步骤8,监测训练样本集与验证样本集的光谱重建误差,直至训练样本集与验证样本集光谱重建误差达到收敛状态;
步骤9,得到适应曝光变化的深度学习光谱重建模型用于实现光谱重建。
2.如权利要求1所述的一种适应曝光变化的深度学习光谱重建方法,其特征在于:步骤
2中,以成像理论成像模型为基础,计算每幅多光谱图像对应的raw格式数字图像的方法具体如下:在多光谱图像的每个像素处,记录高分辨率反射光谱,多光谱图像和raw格式数字图像之间的关系可以表示为:其中(u,v)表示空间坐标,λ指示多光谱图像波长,i指示数码相机第i个成像通道,R(u,v,λ)指示多光谱图像,L(u,v,λ)为光源的相对光谱功率分布,si(λ)表示数码相机第i个通道的光谱灵敏度函数,Ii(u,v)表示多与光谱图像R(u,v,λ)对应的raw格式数字图像。
3.如权利要求1所述的一种适应曝光变化的深度学习光谱重建方法,其特征在于:步骤
3中,以多光谱图像与其对应的raw格式图像为基础,构成包含成对数据的完整样本集的具体执行方法为:
1).读取多光谱图像与其对应的raw格式数字图像;
2).分别对数据进行最大值归一化处理;
3).以归一化后的多光谱图像及对应raw格式数字图像为基础,随机抽取40×40像素大小的样本对;
4).将随机抽取的40×40像素大小样本进行存储,供模型训练和验证调用;
5).得到完整样本集。
4.如权利要求1所述的一种适应曝光变化的深度学习光谱重建方法,其特征在于:步骤
4中,将完整样本集按照M:N的比例,将完成样本集随机分为训练样本集和验证样本集,训练样本集与验证样本集的比例为9:1,即对于完整样本集而言,通常随机抽取其中90%的部分作为训练样本集,以训练模型,将其余的10%作为验证样本集,用以在模型训练过程中调整模型参数。
5.如权利要求1所述的一种适应曝光变化的深度学习光谱重建方法,其特征在于:构建深度学习光谱重建模型框架的方法具体如下:利用raw格式数字图像与其相对应的多光谱图像之间存在的相关性,利用基于学习的方法直接对raw格式数字图像和多光谱图像之间的映射关系进行建模,假设给定raw格式数字图像及其对应的多光谱图像,那么二者之间的映射方法可以描述如式(2)所示形式:r=f(d) (2)其中,d表示raw格式数字图像响应值,r表示对应的光谱发射率数据,f(·)表示raw格式数字图像和多光谱图像之间的映射关系,假设已知raw格式数字图像空间到光谱空间的映射模型f(·),对于任意给定的d,即可利用式(2)计算得到其对应反射反射率r;
基于上述光谱重建原理构建深度学习框架:首先利用1层包括32个输出通道在内的卷积层提取输入图像的浅层特征,然后利用7层包括32个输出通道卷积在内的密集连接网络提取输入图像的深层次特征;密集连接的公式示意如下:xl=Fl([x0,x1,…,xl‑1]) (3)其中,xl表示密集块的第l层的输出,Fl(·)表示l层的非线性映射,[x0,x1,…,x1‑1]表示将0~l‑1层输出的特征图合并;
最后,利用四层包括256、128、64与31个输出通道在内的卷积层对所提取特征图像重建为31维多光谱图像,模型中每层卷积均采用Relu激活函数其公式描述如下:f(x)=max(0,x) (4)其中,x表示输入,max()表示获取输入值x与0之间的最大值。
6.如权利要求1所述的一种适应曝光变化的深度学习光谱重建方法,其特征在于:步骤
6中利用训练样本集对模型进行训练的方法具体如下:
61、对输入的数据成本对乘以一随机曝光调整矩阵k,矩阵每一列均乘以不同的曝光调整系数;
62、将经过曝光矩阵调整的数据样本输入模型;
63、将模型所重建的多光谱图像乘以曝光调整矩阵的倒数1/k,以期模型学习到曝光不变特征。
7.如权利要求1所述的一种适应曝光变化的深度学习光谱重建方法,其特征在于:步骤
7中,利用损失函数数值对模型进行调整的方法如下:
对模型中所用训练样本集与验证样本集分别计算损失结果,其中所用损失函数包括式(5)至式(7)所示三种,总的损失函数为三种损失函数的求和,如式(8)所示:loss1=||Mrec‑Mgro||1 (5)loss2=||pro(Mrec)‑pro(Mgro)||1 (6)lossssim=1‑ssim(Mrec,Mgro) (7)loss=loss1+loss2+lossssim (8)其中||·||1代表第一范数,式中ssim计算公式如式(9)所示:其中,Mrec表示重建光谱图像,Mgro表示真实光谱图像,Pro(·)表示投影算子,以x代表任意重建光谱图像Mrec,y代表相应真实光谱图像Mgro,则公式(9)中wx表示图像x在窗口w内的区域, 是wx的均值,变量 变量wx的方差,变量δwx是wx和wy的协方差,最后,依据上述公式分别计算模型中训练样本集与验证样本集的重建多光谱图像与真实多光谱图像之间的误差,并利用训练样本集与验证样本集的重建误差对模型中的权重与超参进行更新与调整。
8.如权利要求1所述的一种适应曝光变化的深度学习光谱重建方法,其特征在于:步骤
8中,判断训练样本集与验证样本集光谱重建误差达到收敛状态的方法为:设定误差阈值Th和误差波动阈值Td,当连续n次迭代之间的误差变化都低于Th,且误差波动阈值均小于Td时,判定模型达到收敛状态。
9.一种适应曝光变化的深度学习光谱重建系统,其特征在于,包括如下模块:数据集采集模块,用于收集现有公开的多光谱图像数据集;
raw格式计算模块,用于以数码相机理论成像模型为基础,计算每幅多光谱图像对应的raw格式数字图像;
样本集构建模块,用于以多光谱图像与其对应的raw格式图像为基础,构成包含成对数据的完整样本集;
样本集划分模块,用于将完整样本集按照M:N的比例,分为训练样本集和验证样本集;
模型构建模块,用于构建深度学习光谱重建模型框架;
模型训练模块,用于利用训练样本集对模型进行训练;
参数调整模块,用于模型训练过程中,利用损失函数结果对模型参数进行调整;
误差监测模块,用于监测训练样本集与验证样本集的光谱重建误差,直至训练样本集与验证样本集光谱重建误差达到收敛状态;
模型输出模块,用于得到适应曝光变化的深度学习光谱重建模型并输出。
10.如权利要求9所述的一种适应曝光变化的深度学习光谱重建系统,其特征在于:模型构建模块中,构建深度学习光谱重建模型框架的方法具体如下:利用raw格式数字图像与其相对应的多光谱图像之间存在的相关性,利用基于学习的方法直接对raw格式数字图像和多光谱图像之间的映射关系进行建模,假设给定raw格式数字图像及其对应的多光谱图像,那么二者之间的映射方法可以描述如式(2)所示形式:r=f(d) (2)其中,d表示raw格式数字图像响应值,r表示对应的光谱发射率数据,f(·)表示raw格式数字图像和多光谱图像之间的映射关系,假设已知raw格式数字图像空间到光谱空间的映射模型f(·),对于任意给定的d,即可利用式(2)计算得到其对应反射反射率r;
基于上述光谱重建原理构建深度学习框架:首先利用1层包括32个输出通道在内的卷积层提取输入图像的浅层特征,然后利用7层包括32个输出通道卷积在内的密集连接网络提取输入图像的深层次特征;密集连接的公式示意如下:xl=Fl([x0,x1,…,xl‑1]) (3)其中,xl表示密集块的第l层的输出,Fl(·)表示l层的非线性映射,[x0,x1,…,x1‑1]表示将0~l‑1层输出的特征图合并;
最后,利用四层包括256、128、64与31个输出通道在内的卷积层对所提取特征图像重建为31维多光谱图像,模型中每层卷积均采用Relu激活函数其公式描述如下:f(x)=max(0,x) (4)其中,x表示输入,max()表示获取输入值x与0之间的最大值。