1.一种基于多帧融合光流的视频超分辨率重建方法,其特征在于它是由下述步骤组成:
(1)采集数据集
在高分辨率数据集中的每一帧的RGB空间,按照下式转换为Y空间,得到单通道的高分辨率视频帧;
Y=0.257R+0.504G+0.098B+16
其中R、G、B为三个通道;
从高分辨率视频帧中相同的位置截取长为h、宽为w的高分辨率视频帧作为学习目标,采用下采样方法缩小4倍,得到长为H、宽为W的低分辨率视频帧,为网络输入,h和w为有限的正整数,并将所有数据进行归一化处理;
(2)构建运动补偿网络
从低分辨率视频帧中选取5张时间连续的低分辨率视频帧It‑2、It‑1、It、It+1、It+2作为网络输入,It对应的高分辨率视频帧 作为学习目标,将It‑2、It‑1、It、It+1、It+2分为It‑2、It‑1、It和It、It+1、It+2两组,It‑2、It‑1、It作为第一组低分辨率输入帧输入到第一个多帧融合光流网络,得到一个长为h、宽为w的高分辨率融合光流,经过空深转换方法得到第一组低分辨率光流组;It、It+1、It+2作为第二组低分辨率输入帧输入到第二个多帧融合光流网络,得到一个长为h、宽为w的高分辨率融合光流,通过空深转换方法得到第二组低分辨率光流组,两组低分辨率光流分别对It采用运动补偿方法,得到一组低分辨补偿帧f′t,构建成运动补偿网络;
(3)超分辨率重建网络
将低分辨率补偿帧通过三维尺度特征提取层,得到三维尺度特征图,输入到三个串联的时空残差致密块,将三个时空残差致密块的输出在通道维数上拼接得到全局残差特征SR图,经亚像素卷积层,得高分辨率视频帧I 。
2.根据权利要求1所述的基于多帧融合光流的视频超分辨率重建方法,其特征在于:在构建运动补偿网络步骤(2)中,所述的第一个多帧融合光流网络由PWC‑Net光流估计网络和融合模块构建成;
其构建方法为:将输入的It‑2、It‑1、It三帧分为It‑2、It‑1和It‑1、It两组,输出到只有四层金字塔的PWC‑Net光流估计网络,得到两个分辨率与学习目标相同的高分辨率光流估计,It‑1到It的光流估计作为基本信息,It‑1到It‑2的光流估计作为补充信息融合到It‑1到It的光流估计,得到一个分辨率与学习目标相同的高分辨率融合光流ft‑1→t;同时将输入的It、It+1和It+2三帧分为It、It+1和It+1、It+2两组,输出到只有四层金字塔的PWC‑Net光流估计网络,It+1到It的光流估计作为基本信息,It+1到It+2的光流估计作为补充信息融合到It+1到It的光流估计,得到另一个分辨率与学习目标相同的高分辨融合光流ft+1→t。
3.根据权利要求1所述的基于多帧融合光流的视频超分辨率重建方法,其特征在于在构建超分辨网络(3)中,所述的三维尺度特征提取层的构建方法为:低分辨率补偿帧分别用大小为1×1×1、3×3×3、5×5×5的三维卷积进行三维尺度特征提取,得到三维尺度特征,将三维尺度特征在通道维数上拼接,构建成三维尺度特征提取层。
4.根据权利要求1所述的基于多帧融合光流的视频超分辨率重建方法,其特征在于:在构建超分辨网络(3)中,所述的时空残差致密块由3个相同的时空残差块依次相连并与1×1×1的三维卷积层连接构成;所述的时空残差块由Prelu激活函数、1×3×3的三维卷积、3×
1×1的三维卷积、三维通道注意力模块依次相连构成,第一个时空残差块的输出O1、第二个时空残差块的输出O2、第三个时空残差块的输出O3、时空残差致密块的输出O为:O1=H1(W1,t(W1,d(σ[O′])))
02=H2(W2,t(W2,d(σ[O′,O1])))
O3=H3(W3,t(W3,d(σ[O′,O1,O2])))
O=W(Φ(O′,O1,O2,O3))+O′
其中O′为时空残差致密块的输入,σ为Prelu激活函数,W1,d为第一个时空残差块中大小为1×3×3的三维卷积层,W2,d为第二个时空残差块中大小为1×3×3的三维卷积层,W3,d为第三个时空残差块中为1×3×3的三维卷积层,W1,t为第一个时空残差块中为3×1×1三维卷积层,W2,t为第二个时空残差块中大小为3×1×1三维卷积层,W3,t为第三个时空残差块中为3×1×1三维卷积层,H1为第一个时空残差块中的三维通道注意力模块,H2为第二个时空残差块中的三维通道注意力模块,H3为第三个时空残差块中的三维通道注意力模块,Φ为在通道维度上的拼接,W为1×1×1的三维卷积层。
5.根据权利要求4所述的基于多帧融合光流的视频超分辨率重建方法,其特征在于所述的三维通道注意力模块的构建方法为:将C×F×H×W的补偿帧作为输入,F为帧数,C为通道数,依次通过1×1×1的池化层、1×1×1的第一卷积层、1×1×1的第二卷积层、激活层,得到C×1×1×1的特征图,并和输入的补偿帧进行点积运算,得到C×F×H×W的特征图,构建成三维通道注意力模块。