1.基于偏振图像的零样本学习超分辨率重建方法,其特征在于,包括如下步骤:获取偏振相机的原始偏振图像;所述原始偏振图像为通过焦平面分割偏振成像原理设计出的面阵偏振相机获取的,所述原始偏振图像包括4个角度的偏振态图像,分别为0°、45°、90°和135°的偏振态图像,并集中在一幅图像上且无需分割的原始偏振图像;
对采集到的原始偏振图像采用双三次插值算法进行下采样,使用退化表征学习,获取不同退化形式的低分辨率图像;
将退化过的低分辨率图像与原始偏振图像组成对,采用斯托克斯参量,基于保留偏振信息的损失函数对神经网络进行训练;
将原始偏振图像作为训练后的神经网络的输入以输出重建的超分辨率图像;
对采集到的原始偏振图像采用双三次插值算法进行下采样,使用退化表征学习,获取不同退化形式的低分辨率图像,包括:设置双三次插值算法的下采样倍数,其中,双三次插值使用4×4的像素邻域来计算目标像素的值;
使用退化表征学习,对下采样得到的图像加入噪声、压缩和加入高斯模糊以获取不同退化形式的低分辨率图像;
所述斯托克斯参量表示为:
,
,
,
其中,为对应偏振角度为的偏振图像;、、以及分别代表4个偏振态图像,所述偏振态图像用数字图像表示则是图像的亮度值,其中,为包含全部偏振角度的图像;为偏振角度为0°和90°的偏振差分图像;为偏振角度为45°和135°的偏振差分图像,为偏振度图像,表示偏振的程度;为偏振角图像,表示偏振的方向;
保留偏振信息的损失函数L表示如下:
,
其中,表示超分辨部分的损失函数,通过退化图像与原始偏振图像相互匹配并作差求得;表示偏振的程度信息图像Dolp所包含偏振信息的损失,表示偏振的角度信息图像Aolp所包含偏振信息的损失,这二者联合使用,最终还原完整的偏振信息;与为权重指标,通过不断迭代网络实现自适应调整;、以及所对应表达式分别为:,
,
,
其中,表示原始图像各点像素,在偏振图像中,表示全强度图像每个点的像素值;表示超分辨重建后的图像每个点像素值;表示由原始偏振图像计算得出的图像各点像素值,表示由超分辨率重建后的偏振图像计算得出的图像各点像素值;表示超分辨率重建后的偏振图像计算得出的图像的结构相似度指标;表示超分辨率重建后的偏振图像计算得出的图像各点像素值,表示原始偏振图像计算得出的图像各点像素值;
零样本训练过程表示如下:
使用退化表征学习得到的退化图像作为网络输入,原始偏振图像作为输出,对神经网络进行初步迭代训练,得到一个能够还原图像信息和偏振信息网络参数;
使用初步训练好的神经网络,将原始偏振图像作为输入,输出保留偏振信息的偏振图像。
2.如权利要求1所述的基于偏振图像的零样本学习超分辨率重建方法,其特征在于,加入噪声、压缩和加入高斯模糊以获取不同退化形式的低分辨率图像,包括:对下采样得到的图像加入噪声n,如下式所示:
,
其中,r为尺度因子,k为模糊降解核,为原始偏振图像,为处理后的低分辨率图像,n为噪声;
对加入噪声的JEPG格式的图像进行压缩,表示如下:,
其中,为压缩后的图像;
再将压缩后的JEPG格式的图像进行各向异性高斯模糊,表示为:,
其中,是模糊后的图像在位置处的像素值,是压缩后的JEPG格式的图像在位置处的像素值,表示各向异性高斯核,其形状和模糊程度依赖于输入图像的梯度信息,为表示模糊程度的高斯核的标准差;
其中,,
是一个与梯度信息相关的权重函数,,其中,表示图像局部区域的梯度大小,通过将所述梯度大小归一化为[0, 1]的范围,再作用于所述权重函数,得到相应的权重值。
3.如权利要求2所述的基于偏振图像的零样本学习超分辨率重建方法,其特征在于,双三次插值表示如下:,
f(m,n)表示目标像素的值,m和n分别是目标像素在水平和垂直方向上的位置坐标,i和j分别表示邻域中像素点的位置偏移,p(i, j)是邻域中相应像素点的值,和分别为双三次插值函数,分别在水平和垂直方向上计算,C是归一化系数,、、、为与插值相关的参数。
4.基于偏振图像的零样本学习超分辨率重建系统,其特征在于,包括:原始偏振图像获取单元,获取偏振相机的原始偏振图像;所述原始偏振图像为通过焦平面分割偏振成像原理设计出的面阵偏振相机获取的,所述原始偏振图像包括4个角度的偏振态图像,分别为0°、45°、90°和135°的偏振态图像,并集中在一幅图像上且无需分割的原始偏振图像;
退化表征单元,对采集到的原始偏振图像采用双三次插值算法进行下采样,使用退化表征学习,获取不同退化形式的低分辨率图像;
零样本学习单元,将退化过的低分辨率图像与原始偏振图像组成对,采用斯托克斯参量,基于保留偏振信息的损失函数对神经网络进行训练;
图像重建单元,将原始偏振图像作为训练后的神经网络的输入以输出重建的超分辨率图像;
对采集到的原始偏振图像采用双三次插值算法进行下采样,使用退化表征学习,获取不同退化形式的低分辨率图像,包括:设置双三次插值算法的下采样倍数,其中,双三次插值使用4×4的像素邻域来计算目标像素的值;
使用退化表征学习,对下采样得到的图像加入噪声、压缩和加入高斯模糊以获取不同退化形式的低分辨率图像;
所述斯托克斯参量表示为:
,
,
,
其中,为对应偏振角度为的偏振图像;、、以及分别代表4个偏振态图像,所述偏振态图像用数字图像表示则是图像的亮度值,其中,为包含全部偏振角度的图像;为偏振角度为0°和90°的偏振差分图像;为偏振角度为45°和135°的偏振差分图像,为偏振度图像,表示偏振的程度;为偏振角图像,表示偏振的方向;
保留偏振信息的损失函数L表示如下:
,
其中,表示超分辨部分的损失函数,通过退化图像与原始偏振图像相互匹配并作差求得;表示偏振的程度信息图像Dolp所包含偏振信息的损失,表示偏振的角度信息图像Aolp所包含偏振信息的损失,这二者联合使用,最终还原完整的偏振信息;与为权重指标,通过不断迭代网络实现自适应调整;、以及所对应表达式分别为:,
,
,
其中,表示原始图像各点像素,在偏振图像中,表示全强度图像每个点的像素值;表示超分辨重建后的图像每个点像素值;表示由原始偏振图像计算得出的图像各点像素值,表示由超分辨率重建后的偏振图像计算得出的图像各点像素值;表示超分辨率重建后的偏振图像计算得出的图像的结构相似度指标;表示超分辨率重建后的偏振图像计算得出的图像各点像素值,表示原始偏振图像计算得出的图像各点像素值;
零样本训练过程表示如下:
使用退化表征学习得到的退化图像作为网络输入,原始偏振图像作为输出,对神经网络进行初步迭代训练,得到一个能够还原图像信息和偏振信息网络参数;
使用初步训练好的神经网络,将原始偏振图像作为输入,输出保留偏振信息的偏振图像。
5.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至3任一项所述的基于偏振图像的零样本学习超分辨率重建方法。
6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1至3任一项所述的基于偏振图像的零样本学习超分辨率重建方法的步骤。