欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022107218401
申请人: 南京工程学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于光场序列特征分析的光场深度估计方法,其特征在于,包括以下步骤:C C

(1)从4D光场数据中提取中心子孔径图像 其中(i ,j)表示中心子孔径图像的视角坐标;

SEPI

(2)由4D光场数据计算生成EPI合成图像I ;

SEPI

(3)构建光场神经网络模型LFRNN,接收I 、 输入,输出与中心子孔径图像同分辨率的视差图D;所述光场神经网络模型LFRNN包括基于光场序列分析的局部深度估计模块和基于条件随机场模型的深度优化模块;

(4)训练步骤(3)构建的光场神经网络模型LFRNN,得到网络最优参数集P:将训练分为两个阶段进行,两个阶段均采用平均绝对误差作为损失函数;第一个阶段仅训练基于光场序列分析的局部深度估计模块,得到该模块的最优参数集P1;第二阶段冻结基于光场序列分析的局部深度估计模块的最优参数集P1,并训练整个网络,更新基于条件随机场模型的深度优化模块的参数,得到LFRNN网络的最优参数集P。

2.根据权利要求1所述的一种基于光场序列特征分析的光场深度估计方法,其特征在于,所述步骤(1)实现过程如下:

4D光场数据是由光场相机所采集光场图像的解码表示,记为L:(i,j,k,l)→L(i,j,k,l),其中,(i,j)表示微透镜图像的像素索引坐标或称视角坐标,(k,l)表示微透镜中心的索引坐标,i,j,k,l均为整数,L(i,j,k,l)表示(i,j)视角下通过(k,l)位置处的光线的辐射强度;抽取每个微透镜图像的中心像素,按微透镜位置索引排列得到二维图像,即C C其中(i ,j)表示中心子孔径图像的视角坐标。

3.根据权利要求1所述的一种基于光场序列特征分析的光场深度估计方法,其特征在于,所述步骤(2)实现过程如下:SEPI

(21)根据输入4D光场的维度,初始化I 为全0矩阵:

4D光场L:(i,j,k,l)→L(i,j,k,l)中,角度分辨率为NAi×NAj,即i∈[0,NAi),j∈[0,SEPINAj);空间分辨率为NSk×NSl,即k∈[0,NSk),l∈[0,NSl);则I 是(NSk×NAj)×NSl的二维矩阵,初始化为全0矩阵;

*

(22)对于4D光场第三维k的每一行,行序号为k ,计算其对应的EPI图像 并使用SEPI更新I 的部分区域:

*

由4D光场数据计算生成第三维第k 行对应的EPI图像的过程看作一个映射:即固定4D光场中的第一和第三两个维度,变化另外两个维度所得C

到的二维切片图像,令i=i,k=k*;

SEPI

使用所得的 更新I 的部分区域,即 这里,

SEPI SEPI

I ((k*‑1)×NAj:k*×NAj,0:NSl)表示I 中第(k*‑1)×NAj行至第k*×NAj‑1行,第0列至第NSl‑1列的一块区域;

SEPI

(23)对4D光场第三维的每一行进行步骤(22)的操作,计算生成EPI合成图像I 。

4.根据权利要求1所述的一种基于光场序列特征分析的光场深度估计方法,其特征在于,步骤(3)所述基于光场序列分析的局部深度估计模块实包括滑窗处理层、序列特征提取子网络、特征图变形层;

SEPI EPI‑p

所述滑窗处理层负责在EPI合成图像I 上滑动截取EPI块I ,输入到序列特征提取子网络;滑窗大小为(NAj,16),水平方向滑动步长为1,垂直方向滑动步长为NAj,滑窗超越SEPII 时,补0填充;

EPI‑p

所述序列特征提取子网络为提取EPI块I 的序列特征的循环神经网络,包括序列化拆分处理、双向GRU层和全连接网络;其中序列化拆分处理是基于EPI图像上蕴含着深度信EPI‑p息的直线分布于多列像素之中的独特观察,将NAj×16的EIP图像块I 的每列像素,看作EPI‑p一个列向量 其中,x、y分别表示EPI图像块I 上像素的行、列EPI‑p EPI‑p

坐标, 表示EPI图像块I 上(x,y)处像素的灰度值;一个NAj×16的EPI图像块I 可以序列化为16个列向量Gy,0≤y≤15且y为整数;向量Gy将依次作为后续双向GRU层每个时刻的输入;双向GRU层由两个方向的GRU单元构成,每个方向GRU单元的维度为256,每个GRU单元设置为非序列工作模式,接收16个时刻的向量输入,产生1个输出;双向GRU层共计产生512个输出;全连接网络包含两个全连接层;第一个全连接层接收双向GRU层的512个输出,产生

16个输出;该层全连接配置ReLU激活函数;第二个全连接层接收前一个全连接层的16个输出,输出1个视差值;该全连接层不配置激活函数;

所述特征图变形层将(NSk×NSl)个视差值序列,变形成NSk×NSl的矩阵,称为特征图,记为U。

5.根据权利要求1所述的一种基于光场序列特征分析的光场深度估计方法,其特征在于,步骤(3)所述基于条件随机场模型的深度优化模块包括中心子孔径图像核参数提取和特征图迭代优化两部分;中心子孔径图像核参数提取部分是根据输入的中心子孔径图像计算滤波器核参数;特征图迭代优化部分是以条件随机场为理论基础,按照中心子孔径图像核参数提取部分所得滤波器核参数,将特征图迭代优化,得到视差图D;

中心子孔径图像核参数提取部分以中心子孔径图像 为输入,计算空间和色彩卷积核F1和空间卷积核F2:其中,pi、pj分别表示中心子孔径图像 上第i个、第j个像素的位置信息,ci、cj分别表示中心子孔径图像 上第i个、第j个像素的色彩信息,θα、θβ、θγ为自定义的带宽半径;

特征图迭代优化部分包括并行滤波、一元项叠加、归一化因子计算、归一化四个模块;

t‑1

并行滤波模块通过两个通路分别对本次迭代输入μ 进行滤波处理:第一个通路利用卷积t‑1核F1对μ 进行滤波,即 然后,对滤波结果 乘以权重参数θ1,即t‑1

第二通路用卷积核F2对μ 进行滤波,即 然后,对滤波结果t‑1

乘以权重参数θ2,即 第一次迭代时,μ 初始化为特征图U;θ1、θ2做随机初始化,通过网络训练获得更新;两个通路的结果 逐元素相加得到并行滤波模块的输出 即 一元项添加模块是将特征图U与并行滤波模块的结果 相叠加,得即 归一化因子计算模块内部也进行了并行滤波和一元项添加操作,得到归一t‑1化因子γ;其数据处理的对象是全1矩阵J,而不是μ 和特征图U;归一化因子计算模块的具体处理步骤是:归一化模块是将一元项添加的模块的计算结果 对归一化因子γ按逐元素相除,得到本轮t迭代的输出μ,即 最后一次迭代的输出即是优化的视差图D。