欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020113501390
申请人: 河海大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于残差卷积网络的视频超分辨率重构方法,其特征在于,包括如下步骤:S1:构建深度学习模型,其包括如下步骤:

A1:运动补偿:

对输入的低分辨率图像序列,将连续三帧 作为模型的输入,然后利用改进的残差密集网络预测上一帧/下一帧相对于中间帧的光流场,再采用双线性插值实L′ L′现中间帧的运动补偿得到It‑1 ,It+1 ;

改进的残差密集网络是由D个改进的残差密集块组成,每个残差密集块包含了两个密集连接的卷积层,每个密集连接的卷积层包含两个卷积滤波器和一个激活操作;卷积层的层数和每层卷积层中滤波器的个数及大小可根据实际情况进行选择设置,同理,改进的残差密集块的个数也可以根据实际情况进行选择设置,最后根据光流场,利用双线性插值算法获得运动补偿的图像;

A2:特征提取:

将运动补偿得到的两帧图像以及中间帧图像作为特征提取模块的输入,实现深层特征的提取;

A3:重构网络:

将步骤A2中提取的深层特征作为重构网络模块即残差递归网络的输入,最后利用上采样操作实现图像的超分辨率重构;

S2:训练深度学习模型:

将预处理好的训练集中的低分辨视频图像的连续三帧 作为深度学习模型的输入,对应的高分辨率视频图像作为目标高分辨图像 训练模型中的改进的残差密集网络、特征提取网络和残差递归网络以获得最优的权值和偏置,得到能够实现低分辨率视频图像到高分辨率重构的深度学习模型;

S3:利用训练好的深度学习模型进行视频超分辨率重构。

2.根据权利要求1所述的一种基于残差卷积网络的视频超分辨率重构方法,其特征在于,所述步骤S2中训练集的预处理过程为:将具有高分辨率的视频图像序列进行数据增强,将原始视频图像序列和增强后的图像序列通过高斯模糊和下采样的过程生成对应的低分辨率图像序列,存储相对应的高分辨图像序列和低分辨率图像序列数据,作为整个网络的训练集。

3.根据权利要求1所述的一种基于残差卷积网络的视频超分辨率重构方法,其特征在于,所述步骤S2中深度学习模型的训练过程如下:A1:初始化改进的残差密集网络的增益,使用标准高斯分布初始化残差递归网络权重,偏置均初始化为0;

A2:将连续三帧低分辨率视频图像 输入到改进的残差密集网络中,L′ L′

生成与中间帧大小一致的运动补偿图像It‑1 ,It+1 ,再将运动补偿图像和中间帧级联作为特征提取网络的输入,特征提取网络输出的深层特征图像作为残差递归网络的输入,输出与目标高分辨率视频图像大小一致的输出图像;

A3:将改进的残差密集网络生成的运动补偿图像和中间帧做改进的残差密集网络的损失函数 残差递归网络生成的高分辨率图像和目标高分辨率图像分别做残差递归网络的损失函数LRe和感知网络的损失函数Lp,依次迭代使得损失函数降低直至趋于稳定;

A4:训练整个深度学习模型,计算对应网络的损失函数,同时更新整个网络的参数,感知网络参与训练但不更新自身网络参数,直到所有损失函数趋于稳定,得到最终的视频图像超分辨率模型。

4.根据权利要求2所述的一种基于残差卷积网络的视频超分辨率重构方法,其特征在于,所述步骤S3中训练好的深度学习模型的目标函数如下:其中,α、β、γ为网络平衡参数,用于调整损失函数之间的比重,LRe为残差递归网络均方误差损失函数, 为改进的残差卷积网络损失函数, 为Huber损失,Lp为感知损失。

5.根据权利要求3所述的一种基于残差卷积网络的视频超分辨率重构方法,其特征在于,所述残差递归网络均方误差损失函数LRe为:其中,r为放大因子,W和H分别为视频图像序列的高和宽, 和 分别为目标高分辨率图像和网络生成的高分辨率图像。

6.根据权利要求5所述的一种基于残差卷积网络的视频超分辨率重构方法,其特征在于,所述改进的残差卷积网络损失函数 为:其中, 表示低分辨率图像中间帧, 为通过残差卷积网络生成的相对于中间帧的运动补偿图像。

7.根据权利要求3所述的一种基于残差卷积网络的视频超分辨率重构方法,其特征在于,Huber损失 为:其中,Δt±1表示在t±1时刻对应于x和y方向上的两个特征,∈=0.01。

8.根据权利要求5所述的一种基于残差卷积网络的视频超分辨率重构方法,其特征在于,感知损失Lp为:其中, 表示在ImageNet数据集上预训练好的Vgg19网络。