欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020105426769
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于残差学习的图像超分辨率重构方法,其特征在于,包括以下步骤:步骤1),获取用于训练系统的公用数据集;

步骤2),获取待处理的低分辨率图像;

步骤3),以残差结构为基础构建神经网络单元,组成基于残差学习的图像超分辨率网络;

所述神经网络单元包括低分辨率图像的特征提取层、用于细节恢复的非线性映射层以及图像重建层;

所述特征提取层包含一个3×3卷积层,通道数为64,用于提取图像的浅层特征;

所述非线性映射层由两个残差模块构成,将提取到的浅层特征作为输入,学习图像的高频信息,两个残差模块记为第一个残差卷积模块和第二个残差卷积模块;第一个残差卷积模块将形状为(n,c,x,y)的特征图顺序输入8个卷积层,其中n为批量大小,c为特征图通道数,x和y表示特征图尺寸,再将输出结果与原始特征图相加,8个卷积层均为通道数为64的3×3卷积层;第二个残差模块以第一个残差模块输出的特征图为输入顺序输入8个卷积层,其形状为(n,c,x,y),再将输出结果与原始特征图相加;

所述特征提取层、非线性映射层的卷积操作表示为如下公式:

其中,fl表示当前层的输出,Wl表示每层的滤波权重,bl表示每层的偏置向量,fl-1表示上一层的输出,*表示当前层的卷积操作, 表示非线性激活函数,激活函数选用修正线性单元(Rectified Linear Unit,ReLU);

所述图像重建层由一个3×3的反卷积层构成;将特征图像输入到反卷积层中,使得经2倍、3倍或者4倍缩小的图像上采样到目标的高分辨率图像大小,输入图像尺寸与目标尺寸之间的关系:其中,W1和H1分别表示输入图像的宽和高,W2和H2分别表示输出图像的宽和高,S为卷积核移动的步长,F为卷积核的大小,P表示0填充;

步骤4),计算网络预测与标签的损失,根据损失调整网络参数,损失使用均方根误差损失函数进行计算,损失函数公式如下:其中,H和W分别表示图像的高和宽,X(i,j)和Y(i,j)分别表示重建图像与原图对应的像素点;

在训练时将所述的重建图像与训练集中对应的高分辨率图像进行比较,并作出收敛判断;若收敛则输出重建图像,否则更新参数训练到收敛为止;

步骤5),将数据集输入到神经网络单元进行训练,得到训练好的神经网络单元,将步骤

2)得到的待处理的低分辨率图像输入到训练好的神经网络单元中;

步骤6),输出重构的高分辨率图像,并评估图像重建精度;

使用峰值信噪比PSNR和结构相似性SSIM两种评判标准衡量生成图像与原始高分辨率图像之间的差异;

峰值信噪比PSNR通过计算对应像素点之间的误差衡量图像重建质量,其计算方法如公式:其中,n表示每像素的比特数,MSE是指均方误差;峰值信噪比PSNR数值越大表示失真越小;

结构相似性SSIM对图像的相似性从亮度、对比度和结构三个角度进行综合衡量,x和y分别表示原始的高分辨率图像和恢复出的高分辨率图像,则计算方法如公式所示:SSIM(x,y)=l(x,y)*c(x,y)*s(x,y)

上述计算公式中,l(x,y)表示亮度比较,c(x,y)表示对比度比较,s(x,y)表示结构比较;其中,μx和μy分别表示两幅图像的像素均值,δx和δy表示两幅图像的标准差,δxy表示两幅图像中像素块的协方差,C1、C2和C3为常数;SSIM取值范围为[0,1],结果越接近1表示失真越小。

2.根据权利要求1所述基于残差学习的图像超分辨率重构方法,其特征在于:每一层卷积层都由64个通道组成,卷积核大小为3×3。

3.根据权利要求1所述基于残差学习的图像超分辨率重构方法,其特征在于:在每次卷积操作之前需要对特征图像进行零填充。

4.根据权利要求1所述基于残差学习的图像超分辨率重构方法,其特征在于:每像素的比特数n为8。

5.根据权利要求1所述基于残差学习的图像超分辨率重构方法,其特征在于:所述数据集包括DIV2K、Set5和Set14,其中DIV2K作为训练数据集,Set5和Set14作为测试数据集。