1.一种光场图像空间超分辨率重建方法,其特征在于包括以下步骤:
步骤1:选取Num幅空间分辨率为W×H且角度分辨率为V×U的彩色三通道的低空间分辨率光场图像、对应的Num幅分辨率为αW×αH的彩色三通道的2D高分辨率图像,以及对应的Num幅空间分辨率为αW×αH且角度分辨率为V×U的彩色三通道的参考高空间分辨率光场图像;其中,Num>1,α表示空间分辨率提升倍数,α的值大于1;
步骤2:构建一个卷积神经网络,作为空间超分辨率网络:空间超分辨率网络包括用于提取多尺度特征的编码器、用于配准光场特征和2D高分辨率特征的孔径级特征配准模块、用于从低空间分辨率光场图像中提取浅层特征的浅层特征提取层、用于融合光场特征和2D高分辨率特征的光场特征增强模块、用于缓解粗尺度特征中的配准误差的空间注意力块、用于将潜在特征重建为光场图像的解码器;
对于编码器,其由依次连接的第一卷积层、第二卷积层、第一残差块和第二残差块组成,第一卷积层的输入端并行接收三个输入,分别为一幅空间分辨率为W×H且角度分辨率为V×U的低空间分辨率光场图像的单通道图像L对于孔径级特征配准模块,其输入端接收三类特征图,第一类是
对于浅层特征提取层,其由1个第五卷积层组成,第五卷积层的输入端接收一幅空间分辨率为W×H且角度分辨率为V×U的低空间分辨率光场图像的单通道图像L对于光场特征增强模块,其由依次连接的第一增强残差块、第二增强残差块和第三增强残差块组成,第一增强残差块的输入端接收F对于空间注意力块,其由依次连接的第六卷积层和第七卷积层组成,第六卷积层的输入端接收F
对于解码器,其由依次连接的第三残差块、第四残差块、子像素卷积层、第八卷积层和第九卷积层组成,第三残差块的输入端接收F步骤3:将训练集中的每幅低空间分辨率光场图像、对应的2D高分辨率图像、对应的参考高空间分辨率光场图像进行颜色空间转换,即从RGB颜色空间转换到YCbCr颜色空间,并提取出Y通道图像;然后将每幅低空间分辨率光场图像的Y通道图像重组为宽度为W×V且高度为H×U的子孔径图像阵列来表示;接着将训练集中的所有低空间分辨率光场图像的Y通道图像重组的子孔径图像阵列、对应的2D高分辨率图像的Y通道图像、对应的参考高空间分辨率光场图像的Y通道图像构成训练集;再构建金字塔网络,并利用训练集进行训练,具体过程为:步骤3_1:将构建好的空间超分辨率网络复制三次,并进行级联,每个空间超分辨率网络的权重共享,即参数全都一样,将三个空间超分辨率网络构成的整体网络定义为金字塔网络;在每个金字塔水平,空间超分辨率网络的重建尺度设置为与α步骤3_2:对训练集中的每幅参考高空间分辨率光场图像的Y通道图像进行两次空间分辨率下采样,将下采样后得到的图像作为标签图像;对训练集中的每幅2D高分辨率图像的Y通道图像也进行两次同样的空间分辨率下采样,将下采样后得到的图像作为针对金字塔网络中的第一个空间超分辨率网络的2D高分辨率Y通道图像;然后将训练集中的所有低空间分辨率光场图像的Y通道图像重组的子孔径图像阵列、训练集中的所有低空间分辨率光场图像的Y通道图像经一次空间分辨率上采样后得到的图像重组的子孔径图像阵列、所有针对金字塔网络中的第一个空间超分辨率网络的2D高分辨率Y通道图像和所有针对金字塔网络中的第一个空间超分辨率网络的2D高分辨率Y通道图像经一次空间分辨率下采样和一次空间分辨率上采样后得到的模糊后的2D高分辨率Y通道图像输入到构建好的金字塔网络中的第一个空间超分辨率网络中进行训练,得到训练集中的每幅低空间分辨率光场图像的Y通道图像对应的α步骤3_3:对训练集中的每幅参考高空间分辨率光场图像的Y通道图像进行单次空间分辨率下采样,将下采样后得到的图像作为标签图像;对训练集中的每幅2D高分辨率图像的Y通道图像也进行单次同样的空间分辨率下采样,将下采样后得到的图像作为针对金字塔网络中的第二个空间超分辨率网络的2D高分辨率Y通道图像;然后将训练集中的所有低空间分辨率光场图像的Y通道图像对应的α步骤3_4:将训练集中的每幅参考高空间分辨率光场图像的Y通道图像作为标签图像;将训练集中的每幅2D高分辨率图像的Y通道图像作为针对金字塔网络中的第三个空间超分辨率网络的2D高分辨率Y通道图像;然后将训练集中的所有低空间分辨率光场图像的Y通道图像对应的α在训练结束后得到金字塔网络中的各空间超分辨率网络中的所有卷积核的最佳权重参数,即得到训练有素的空间超分辨率网络模型;
步骤4:任意选取一幅彩色三通道的低空间分辨率光场图像和对应的一幅彩色三通道的2D高分辨率图像作为测试图像;然后将彩色三通道的低空间分辨率光场图像和对应的彩色三通道的2D高分辨率图像从RGB颜色空间转换到YCbCr颜色空间,并提取出Y通道图像;接着将低空间分辨率光场图像的Y通道图像重组为子孔径图像阵列来表示;再将低空间分辨率光场图像的Y通道图像重组的子孔径图像阵列、低空间分辨率光场图像的Y通道图像经一次空间分辨率上采样后得到的图像重组的子孔径图像阵列、2D高分辨率图像的Y通道图像和2D高分辨率图像的Y通道图像经一次空间分辨率下采样和一次空间分辨率上采样后得到的模糊后的2D高分辨率Y通道图像输入到空间超分辨率网络模型中,测试得到低空间分辨率光场图像的Y通道图像对应的重建高空间分辨率Y通道光场图像;之后对低空间分辨率光场图像的Cb通道图像和Cr通道图像分别进行双三次插值上采样,得到低空间分辨率光场图像的Cb通道图像对应的重建高空间分辨率Cb通道光场图像和低空间分辨率光场图像的Cr通道图像对应的重建高空间分辨率Cr通道光场图像;最后将得到的重建高空间分辨率Y通道光场图像、重建高空间分辨率Cb通道光场图像和重建高空间分辨率Cr通道光场图像在颜色通道维度上进行级联,并将级联结果重新转换到RGB颜色空间,得到低空间分辨率光场图像对应的彩色三通道的重建高空间分辨率光场图像。
2.根据权利要求1所述的一种光场图像空间超分辨率重建方法,其特征在于所述的步骤2中,第一残差块、第二残差块、第三残差块和第四残差块的结构相同,其均由依次连接的第三卷积层和第四卷积层组成,第一残差块中的第三卷积层的输入端并行接收三个输入,分别为第二残差块中的第三卷积层的输入端并行接收三个输入,分别为
第三残差块中的第三卷积层的输入端接收F
第四残差块中的第三卷积层的输入端接收F
其中,第一残差块、第二残差块、第三残差块和第四残差块各自中的第三卷积层和第四卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为64、输出通道数均为64,第一残差块、第二残差块、第三残差块和第四残差块各自中的第三卷积层采用的激活函数为“ReLU”、第四卷积层不采用激活函数。
3.根据权利要求1或2所述的一种光场图像空间超分辨率重建方法,其特征在于所述的步骤2中,第一增强残差块、第二增强残差块和第三增强残差块的结构相同,其均由依次连接的第一空间特征变换层、第一空间角度卷积层、第二空间特征变换层、第二空间角度卷积层和通道注意力层组成,第一空间特征变换层和第二空间特征变换层的结构相同,其均由并行的第十卷积层和第十一卷积层组成,第一空间角度卷积层和第二空间角度卷积层的结构相同,其均由依次连接的第十二卷积层和第十三卷积层组成,通道注意力层由依次连接的全局均值池化层、第十四卷积层和第十五卷积层组成;
第一增强残差块中的第一空间特征变换层中的第十卷积层的输入端接收F
第一增强残差块中的第一空间角度卷积层中的第十二卷积层的输入端接收
第一增强残差块中的第二空间特征变换层中的第十卷积层的输入端接收F
第一增强残差块中的第二空间角度卷积层中的第十二卷积层的输入端接收
第一增强残差块中的通道注意力层中的全局均值池化层的输入端接收
将F
第二增强残差块中的第一空间特征变换层中的第十卷积层的输入端接收F
第二增强残差块中的第一空间角度卷积层中的第十二卷积层的输入端接收
第二增强残差块中的第二空间特征变换层中的第十卷积层的输入端接收F
第二增强残差块中的第二空间角度卷积层中的第十二卷积层的输入端接收
第二增强残差块中的通道注意力层中的全局均值池化层的输入端接收
将F
第三增强残差块中的第一空间特征变换层中的第十卷积层的输入端接收F
第三增强残差块中的第一空间角度卷积层中的第十二卷积层的输入端接收
第三增强残差块中的第二空间特征变换层中的第十卷积层的输入端接收F
第三增强残差块中的第二空间角度卷积层中的第十二卷积层的输入端接收
第三增强残差块中的通道注意力层中的全局均值池化层的输入端接收
将F
其中,第一增强残差块、第二增强残差块和第三增强残差块各自中的第十卷积层和第十一卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为64、输出通道数均为64、均不采用激活函数,第一增强残差块、第二增强残差块和第三增强残差块各自中的第十二卷积层和第十三卷积层的卷积核的尺寸均为3×3、卷积步长均为1、输入通道数均为64、输出通道数均为64、采用的激活函数均为“ReLU”,第一增强残差块、第二增强残差块和第三增强残差块各自中的第十四卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为64、输出通道数为4、采用的激活函数为“ReLU”,第一增强残差块、第二增强残差块和第三增强残差块各自中的第十五卷积层的卷积核的尺寸为1×1、卷积步长为1、输入通道数为4、输出通道数为64、采用的激活函数为“Sigmoid”。