1.一种基于深度卷积神经网络的光场图像深度估计方法,其特征在于,包括以下步骤:C C
(1)从4D光场数据中提取中心子孔径图像 其中(i ,j)表示中心子孔径图像的视角坐标;
(2)由4D光场数据分别计算生成水平EPI合成图像 和垂直EPI合成图像(3)构建深度卷积神经网络的网络模型DCNET,接收 三个输入流,输出与中心子孔径图像 同分辨率的视差图D;
(4)以MAE为损失函数,训练步骤(3)所述的DCNET,得到网络最优参数集P;
(5)对场景的4D光场数据执行第(1)步和第(2)步的处理后,输入至步骤(4)训练好的网络,计算输出该场景的视差图;
所述步骤(2)包括以下步骤:
*
(21)对于中心子孔径图像 中的每一行,k 为行序号,计算其对应的EPI图像*
由4D光场数据生成中心子孔径图像中第k 行像素对应的EPI图像的过程可以看作一个映射: 即固定4D光场中的i和k两个维度,变化另外两个维度所得到C
的二维切片图像,令i=i*=i,k=k*;
(22)将EPI图像集合,按照行号从上到下依次拼接起来,得到水平EPI合成图像 假*设4D光场在i、j、k、l四个维度上的大小分别为Ni、Nj、Nk、Nl,则中心子孔径图像中第k行像素对应的EPI图像 的大小为(Nj×Nl);为 预留(Nj×Nk)行、Nl列的存储空间,设置初值为0;对于步骤(21)所得的EPI图像集合中的每一幅图像 根据行号将 逐像素赋给表示* *
中的第(k‑1)×Nj行至第k×Nj行,第0列至第(Nj‑1)列的一块区域;
*
(23)对于中心子孔径图像 中的每一列,l 为列序号,计算其对应的EPI图像*
由4D光场数据生成中心子孔径图像中第l 列像素对应的EPI图像的过程可以看作一个映射: 即固定4D光场中的j和l两个维度,变化另外两个维度所得到C
的二维切片图像,令j=j*=j,l=l*;(24)将步骤(23)所得的EPI图像集合,按照列号从左到右依次拼接起来,得到垂直EPI合成图像 假设4D光场在i、j、k、l四个维度上的大小*分别为Ni、Nj、Nk、Nl,则中心子孔径图像中第l列像素对应的EPI图像 的大小为(Nk×Ni);
为 预留(Nk)行、(Nl×Ni)列的存储空间,设置初值为0;对于步骤(23)所得的EPI图像集合中的每一幅图像 根据行号将 逐像素赋给表示 中
* *
的第0行至第(Nk‑1)行,第(l‑1)×Nj列至第l×Nj列的一块区域。
2.根据权利要求1所述的基于深度卷积神经网络的光场图像深度估计方法,其特征在于,步骤(1)所述的提取中心子孔径图像 是抽取每个微透镜图像的中心像素,按微透镜位置索引排列得到二维图像,即
3.根据权利要求1所述的基于深度卷积神经网络的光场图像深度估计方法,其特征在于,步骤(3)所述的深度卷积神经网络的网络模型DCNET,包括多流输入、编码、解码、跳层连接、视差图输出模块;所述编码模块用于提取输入图像的特征,由A类单元和B类单元构成,A类单元的基本结构是“卷积层+ReLU激活层+卷积层+规范层+ReLU激活层+池化层”,B类单元的基本结构是“卷积层+ReLU激活层+卷积层+ReLU激活层+卷积层+规范层+ReLU激活层+池化层”;所述编码模块的单元序列分为两个阶段:三个流单独编码阶段和综合编码阶段,其中,EPIh流和EPIv流的单独编码阶段包含4个A类单元,而CV流的单独编码阶段包含3个A类单元;随后,将三个流的编码结果级联起来,进行综合编码,综合编码阶段包含3个B类单元;
所述解码模块用于逐步恢复高分辨率输出,由6个C类基本单元构成,C类单元的基本结构是“反卷积层+卷积层+ReLU激活层+卷积层+ReLU激活层+卷积层+规范层+ReLU激活层”;所述跳层连接有CC1、CC2、CC3三个连接,CC1将EPIh流的第1个A类单元输出特征图、中心子孔径图像、EPIv流的第1个A类单元输出特征图级联到解码模块的第6个C类单元的反卷积层之后,CC2将EPIh流的第2个A类单元输出特征图、CV流的第1个A类单元输出特征图、EPIv流的第2个A类单元输出特征图级联到解码模块的第5个C类单元的反卷积层之后,CC3将EPIh流的第3个A类单元输出特征图、CV流的第2个A类单元输出特征图、EPIv流的第3个A类单元输出特征图级联到解码模块的第4个C类单元的反卷积层之后;所述输出模块将多通道特征图回归于单通道视差图,由1×1卷积层实现与中心子孔径图像等分辨率的视差图输出。
4.根据权利要求1所述的基于深度卷积神经网络的光场图像深度估计方法,其特征在于,所述步骤(4)包括以下步骤:(41)MAE损失函数是指平均绝对误差损失,其计算方法是:其中, 表示视差预测值,yi表示视差真值,n表示损失计算时样本点总数;
(42)设置DCNET网络的超参数:初始化卷积神经网络学习率learning_rate为0.1×10‑4,优化器使用RMSProp算法,损失函数使用平均绝对误差MAE,设置训练批次大小16,迭代次数为200000;
(43)获取包含场景光场数据和场景视差真值的光场数据集,并将其划分为训练集和验证集;
(44)基于光场数据训练集,逐批生成训练所需的3流输入数据,使用RMSProp算法迭代训练;
(45)在光场数据验证集上进行测试评价,对于验证集内光场数据,利用训练后的DCNET网络输出预测的视差图,利用MSE和BadPix两个指标评价预测结果和真值之间差异;
(46)经步骤(45)评价,取得优异性能的网络参数集合P作为最优参数。