1.基于亚像素和梯度引导的光场图像超分辨率重建方法,其特征在于,包括:S1:获取待重建的目标光场图像;
S2:将目标光场图像输入训练后的超分辨重建模型,输出对应的超分辨率重建图像;
通过如下步骤训练超分辨重建模型:
S201:首先将用作样本的高分辨率光场图像转换为低分辨率光场图像;然后提取低分辨率光场图像的梯度图,得到对应的梯度阵列;最后将低分辨率光场图像和对应的梯度阵列作为模型输入;
S202:分别通过多重亚像素信息提取模块提取低分辨率光场图像和对应梯度阵列的多重亚像素特征,得到对应的光场多重亚像素特征和梯度多重亚像素特征;
S203:分别通过增强模块对光场多重亚像素特征和梯度多重亚像素特征进行特征表示增强,得到对应的光场多重亚像素增强特征和梯度多重亚像素增强特征;
S204:通过融合模块对光场多重亚像素增强特征和梯度多重亚像素增强特征进行特征融合,得到对应的多重亚像素融合特征;
S205:通过重建模块基于多重亚像素融合特征进行超分辨率重建,得到重建图像;然后将低分辨率光场图像经过双三次插值后与重建图像相加,生成对应的超分辨率重建图像;
S206:根据超分辨率重建图像和用作样本的高分辨率光场图像计算训练损失,并基于训练损失优化超分辨重建模型的参数;
S207:重复步骤S201至步骤S206,直至超分辨重建模型收敛;
S3:将输出的超分辨率重建图像作为目标光场图像的超分辨率重建结果。
2.如权利要求1所述的基于亚像素和梯度引导的光场图像超分辨率重建方法,其特征在于:步骤S202中,将低分辨率光场图像或梯度阵列分别按水平、垂直、对角和反对角方向叠加成四个图像堆并输入多重亚像素信息提取模块:首先分别提取四个图像堆的亚像素特征信息;然后将各个图像堆的亚像素特征信息进行连接,得到全局亚像素特征;最后对全局亚像素特征进行降维和特征对齐,得到对应的多重亚像素特征。
3.如权利要求2所述的基于亚像素和梯度引导的光场图像超分辨率重建方法,其特征在于:多重亚像素信息提取模块包括分别将四个图像堆作为输入且用于提取亚像素特征信息的四个特征多重亚像素信息提取模块、用于将四个特征多重亚像素信息提取模块输出的亚像素特征信息连接的连接模块、用于对连接得到的全局亚像素特征进行降维的3D卷积模块,以及用于对降维后的全局亚像素特征进行特征对齐的角度对齐模块;角度对齐模块的输出为对应的多重亚像素特征。
4.如权利要求3所述的基于亚像素和梯度引导的光场图像超分辨率重建方法,其特征在于:特征多重亚像素信息提取模块包括依次首尾连接的一个3D卷积层和四个堆叠的残差块,且将第一个残差块的输入和最后一个残差块的输出进行求和操作后作为特征多重亚像素信息提取模块输出的亚像素特征信息;各个残差块均包括依次首尾连接的PReLu激活层和3D卷积层,且将PReLu激活层的输入与3D卷积层的输出进行求和操作。
5.如权利要求1所述的基于亚像素和梯度引导的光场图像超分辨率重建方法,其特征在于:步骤S203中,将光场多重亚像素特征或梯度多重亚像素特征转换为对应的特征序列后输入增强模块:首先提取特征序列的亚像素空间特征;然后基于亚像素空间特征生成对应的查询矩阵、关键字矩阵和值矩阵,并根据三个矩阵生成空间特征图;最后将空间特征图与输入的特征序列相加,得到对应的多重亚像素增强特征。
6.如权利要求5所述的基于亚像素和梯度引导的光场图像超分辨率重建方法,其特征在于,增强模块包括如下处理步骤:S2031:通过三个卷积层分支分别提取特征序列的亚像素空间特征;
S2032:分别对三个亚像素空间特征进行展开操作,得到对应的局部特征块;然后分别将三个局部特征块重塑为对应的查询矩阵QS2033:对K
S2034:将K
S2035:将空间特征图与输入的特征序列相加,得到对应的多重亚像素增强特征。
7.如权利要求1所述的基于亚像素和梯度引导的光场图像超分辨率重建方法,其特征在于:步骤S204中,将光场多重亚像素增强特征和梯度多重亚像素增强特征输入融合模块:首先提取光场多重亚像素增强特征和梯度多重亚像素增强特征的光场增强空间特征和梯度增强空间特征;然后基于光场增强空间特征和梯度增强空间特征生成对应的查询矩阵、关键字矩阵和值矩阵,并根据三个矩阵生成增强特征图;最后将增强特征图与输入的光场多重亚像素增强特征相加,得到对应的多重亚像素融合特征。
8.如权利要求7所述的基于亚像素和梯度引导的光场图像超分辨率重建方法,其特征在于,融合模块包括如下处理步骤:S2041:通过一个卷积层分支提取光场多重亚像素增强特征的光场增强空间特征;
S2042:通过两个卷积层分支分别提取梯度多重亚像素增强特征的梯度增强空间特征;
S2043:对光场增强空间特征进行展开操作,得到对应的局部特征块;然后将该局部特征块重塑为对应的查询矩阵QS2044:分别对两个梯度增强空间特征进行展开操作,得到对应的局部特征块;然后分别将两个局部特征块重塑为对应的关键字矩阵KS2045:对K
S2046:将K
S2047:将增强特征图与输入的光场多重亚像素增强特征相加,得到对应的多重亚像素融合特征。
9.如权利要求1所述的基于亚像素和梯度引导的光场图像超分辨率重建方法,其特征在于:重建模块由信息多重蒸馏模块和上采样模块组成,其中上采样模块包含两个卷积层和一个像素重组层;
重建模块进行超分辨率重建时:首先通过信息多重蒸馏模块从多重亚像素融合特征中提取多层次特征信息;然后通过第一个卷积层将多层次特征信息的通道维度升维至a
10.如权利要求1所述的基于亚像素和梯度引导的光场图像超分辨率重建方法,其特征在于,步骤S206中,通过如下公式计算训练损失:式中:loss(x,y)表示训练损失;f(x