1.融合空间和角度特征的光场图像超分辨率重建方法,其特征在于,包括:
S1:获取待重建的目标光场图像;
S2:将目标光场图像输入训练后的超分辨重建模型,输出对应的超分辨率重建图像;
通过如下步骤训练超分辨重建模型:
S201:将用作样本的高分辨率的光场图像转换为低分辨率的光场图像后作为模型输入;
S202:提取低分辨率的光场图像中各个子孔径图像的2D空间特征;
步骤S202中,将低分辨率的光场图像作为空间特征提取模块的输入,经由空间特征提取模块提取对应的2D空间特征;其中,空间特征提取模块包括依次首尾连接的卷积层、第一ResBlock模块、第一ResRFB模块、第二ResBlock模块和第二ResRFB模块;
卷积层用于提取低分辨率的光场图像的浅层特征;
第一ResBlock模块和第二ResBlock模块用于激活提取的特征;
第一ResRFB模块和第二ResRFB模块用于通过空洞卷积扩大感受野、加强通道像素间的关联,进而提取对应的空间特征;第二ResRFB模块的输出为最终的2D空间特征;
第一ResRFB模块和第二ResRFB模块均包括第一1×1卷积层、输入端分别与第一1×1卷积层的输出端连接的三条支路、输入端分别与三条支路的输出端连接且用于连接三条支路输出特征的连接层、以及输入端与连接层的输出端连接的第二1×1卷积层;连接层和第二1×1卷积层之间设置有Relu激活函数层;
三条支路包括:由第三1×1卷积层和膨胀率为1的空洞卷积层组成的第一支路、由3×3卷积层和膨胀率为3的空洞卷积层组成的第二支路、以及由5×5卷积层和膨胀率为5的空洞卷积层组成的第三支路;
在RFB的基础上增加了残差结构形成ResRFB模块,其是具有不同尺寸卷积核的卷积层和空洞池化层构成的多分支结构,并采用空洞卷积扩大感受野,加强通道像素间的关联,学习光场图像中每个视图的2D空间特征,实现对空间纹理信息的有效提取;
S203:在2D空间特征的基础上提取各个子孔径图像的2D角度特征,然后连接各个子孔径图像的2D空间特征和2D角度特征生成对应的全局特征;
步骤S203中,将各个子孔径图像的2D空间特征作为堆栈输入,经由角度特征提取模块提取各个子孔径图像的2D角度特征,并连接各个子孔径图像的2D角度特征与2D空间特征生成全局特征;
角度特征提取模块包括用于在不同子孔径图像的2D空间特征对之间提取新的视点特征的若干个并行分支、输入端分别与若干个并行分支的输出端连接且用于合并各个并行分支输出特征的3×3卷积层、以及用于连接2D角度特征与2D空间特征并生成全局特征的特征连接层;
通过多个并行分支搜寻光场子孔径图像不同视角间的角度约束;并行分支包括依次首尾连接的9×9卷积层、Relu激活函数层、5×5卷积层、Relu激活函数层、3×3卷积层和Relu激活函数层;
S204:对各个子孔径图像的全局特征进行融合增强,生成光场图像的4D光场特征;
S205:根据光场图像的4D光场特征进行超分辨率重建,生成超分辨率重建图像;
S206:根据超分辨率重建图像和用作样本的高分辨率的光场图像计算训练损失,并基于训练损失优化超分辨重建模型的参数;
S207:重复步骤S201至步骤S206,直至超分辨重建模型收敛;
S3:将输出的超分辨率重建图像作为目标光场图像的超分辨率重建结果。
2.如权利要求1所述的融合空间和角度特征的光场图像超分辨率重建方法,其特征在于:步骤S201中,对高分辨率光场图像进行双三次下采样得到低分辨率的光场图像。
3.如权利要求1所述的融合空间和角度特征的光场图像超分辨率重建方法,其特征在于:第一ResBlock模块和第二ResBlock模块均包括依次首尾连接的3×3卷积层、Relu激活函数层和3×3卷积层。
4.如权利要求1所述的融合空间和角度特征的光场图像超分辨率重建方法,其特征在于:通过如下公式表示子孔径图像的全局特征:式中:FG表示全局特征;FS表示2D空间特征;FA表示2D角度特征;ConvertG(·)表示2D卷积操作;concat(·)表示特征连接操作;R表示尺寸变换。
5.如权利要求1所述的融合空间和角度特征的光场图像超分辨率重建方法,其特征在于:步骤S204中,将各个子孔径图像的全局特征作为特征融合增强模块的输入,经由特征融合增强模块对全局特征进行融合增强后生成4D光场特征;
特征融合增强模块包括依次首尾连接的若干个空间角度卷积层,空间角度卷积层包括依次首尾连接的空间卷积层、Relu激活函数层、角度卷积层和Relu激活函数层。
6.如权利要求1所述的融合空间和角度特征的光场图像超分辨率重建方法,其特征在于:步骤S205中,将4D光场特征作为重建模块的输入,通过重建模块基于子像素卷积的上采样方法对4D光场特征进行超分辨率重建;
重建模块首先对通道数为C的4D光场特征图进行1×1卷积,将其通道数扩展至a 2×C;然后进行像素重组生成分辨率为a倍的高分辨率特征图;最后通过卷积层对高分辨率特征图进行特征融合,生成超分辨后的光场子孔径图像阵列,即超分辨率重建图像。
7.如权利要求1所述的融合空间和角度特征的光场图像超分辨率重建方法,其特征在于:步骤S206中,通过如下公式计算训练损失:loss=||LSR(u,v,s,t)-LHR(u,v,s,t)||1;
式中:LSR(u,v,s,t)表示生成的超分辨率重建图像;LHR(u,v,s,t)表示用作样本的高分辨的光场图像;(u,v)和(s,t)分别表示光场图像的角平面坐标和空间平面坐标。