欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024116109135
申请人: 郑州大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于多特征融合的光场图像空间超分辨方法,其特征在于,包括:

S1、获取包含有多个子孔径图像的光场图像,并将光场图像转换为宏像素图像;

S2、对子孔径图像进行空间特征提取,并对宏像素图像进行角度特征提取、极限特征提取,得到空间特征信息、角度特征信息和极限特征信息;

所述空间特征信息包括:同一个子孔径图像内部像素之间的第一相关性和多个子孔径图像像素之间的第二相关性;

第一相关性的提取采用内部空间特征提取器对同一个子孔径图像内部的像素进行卷积;其中,内部空间特征提取器包括一个二维卷积层,卷积核为3×3,移动步长为1,膨胀因子为A ,其中,A 与光场图像的角度分辨率值相等,且内部空间特征提取器在卷积时使用零填充;

第二相关性的提取采用联合空间特征提取器对多个子孔径图像之间的像素进行卷积;其中,联合空间特征提取器包括一个二维卷积层,卷积核为3×3,移动步长为1,膨胀因子为1,且联合空间特征提取器在卷积时使用零填充;

所述角度特征信息包括:同一个宏像素图像内部之间像素的第三相关性和不同宏像素图像之间像素的第四相关性;

第三相关性的提取采用内部角度特征提取器对同一个宏像素图像内部的像素进行卷积;其中,内部角度特征提取器包括一个二维卷积层,卷积核为A ×A ,移动步长为A ,膨胀因子为1;

第四相关性的提取采用联合角度特征提取器对不同宏像素图像之间像素进行卷积;其中,联合角度特征提取器包括一个空洞卷积,卷积核为2A ×2A ,移动步长为2A ,膨胀因子为1;

所述极限特征信息包括:水平EPI特征和垂直EPI特征;

水平EPI特征的提取采用水平EPI特征提取器对宏像素图像上水平接片的像素进行卷积;其中,水平EPI特征提取器包括一个空洞卷积,卷积核为1×A 2,垂直方向移动步长为1,水平方向移动步长为A ,且水平EPI特征提取器在卷积时不执行零填充;

垂直EPI特征的提取采用垂直EPI特征提取器对宏像素图像上垂直切片的像素进行卷积;其中,垂直EPI特征提取器包括一个空洞卷积,卷积核为A 2×1,水平方向移动步长为1,垂直方向移动步长为A ,且垂直EPI特征提取器在卷积时不执行零填充;

之后,分别对宏像素图像上的水平EPI特征和垂直EPI特征进行上采样处理,得到极限特征信息;

S3、对空间特征信息、角度特征信息、极限特征信息进行融合和堆叠,得到输出特征,具体为:将空间特征信息、角度特征信息、极限特征信息在水平方向与垂直方向上进行特征拼接,得到输入特征;

分别在水平方向和垂直方向上对输入特征进行平均池化,得到通道的两个一阶统计量,两个一阶统计量包括平均池化值、;

其中,代表子孔径图像在垂直方向的序列数,代表子孔径图像在水平方向的序列数,代表第个输入特征在水平方向的平均池化值,代表第个输入特征在垂直方向的平均池化值,代表移动步长且大小为,代表水平方向的子孔径图像个数,代表垂直方向的子孔径图像个数,代表水平方向上对输入特征进行平均池化时子孔径图像在水平方向的序列数,代表垂直方向的第个、水平方向的第个输入特征值,代表垂直方向上对输入特征进行平均池化时子孔径图像在垂直方向的序列数,代表水平方向的第个、垂直方向的第个输入特征值;

采用门控机制将注意力分配到不同的通道特征上,门控机制由两个1×1的卷积层和一个激活函数组成;首先将水平和垂直方向得到的两个一阶统计量在通道维度上进行拼接,然后经过一个共享的1×1卷积得到中间特征;

其中,代表激活函数,代表门控机制的卷积层权值,代表门控机制的卷积运算;

将中间特征在空间维度进行拆分,得到两张相同张量,然后再通过两个1×1的卷积层获得水平注意力和垂直注意力;

其中,代表激活函数,代表在水平注意力上卷积层的权值,代表在垂直注意力上卷积层的权值;

最后将水平注意力和垂直注意力作用于输入特征上,得到输出特征:

;

S4、对输出特征进行空间上采样,得到超分辨的子孔径图像。

2.如权利要求1所述的基于多特征融合的光场图像空间超分辨方法,其特征在于,所述步骤S4包括:首先,将输出特征从宏像素模式重塑为子孔径模式;

再使用1×1的卷积层将重塑后的输出特征的深度增加到2,其中,代表升级因子,代表通道数;

然后,通过二维像素变换层将深度增加后的输出特征上采样到z×z分辨率,其中,z代表重塑后子孔径图像的高,z代表重塑后子孔径图像的宽;

最后,采用1×1的卷积层对通道进行压缩,得到超分辨率的子孔径图像。