1.一种光流法和深度网络结合的视频高时空分辨率信号处理方法,其特征在于:包括以下步骤:步骤1,将视频文件按顺序提取其帧序列;
步骤2,从视频的第3帧开始,每一帧都与其前后两帧做光流法运动估计;将产生的4副运动估计图像与中间帧合成为5幅图像的高维图像块;
步骤3,构建OF深度卷积超分辨率网络,浅层网络提取图像信息,最后一层亚像素卷积层进行重建超分辨率图像;
步骤3中构建的OF深度卷积超分辨率网络为4层结构,分为三层卷积层和一层亚像素卷积层,输入图像为15通道的高维图像块;第一层卷积使用5×5的卷积核共64个,卷积后输出
64通道的特征图像;第二层使用3×3的卷积核共32个,对上一层的64通道特征图卷积,输出图像为32通道;第三层使用3×3的卷积核共3×r2个,卷积输出3×r2特征图像;
步骤4,将高维图像块送入OF深度卷积超分辨率网络进行训练;
步骤5,将降质后或者分辨率较低的视频帧送入OF深度卷积超分辨率网络进行超分辨率图像重建。
2.根据权利要求1所述的一种光流法和深度网络结合的视频高时空分辨率信号处理方法,其特征在于:步骤2中所述的高维图像块构建方法为:步骤2‑1,选取视频帧序列连续的5张视频帧,标记中间帧为第n帧,则前两帧分别为n‑
2、n‑1帧,后两帧为n+1,n+2帧;
步骤2‑2,在输入神经网络之前对这五张图像进行运动估计,以中心帧第n帧作为基准帧,对其余4帧使用光流法进行运动估计,生成四张运动估计图像;
步骤2‑3,将4幅运动估计后的帧图像与基准帧组合为5张图像的高维图像块。
3.根据权利要求2所述的一种光流法和深度网络结合的视频高时空分辨率信号处理方法,其特征在于:步骤2‑1中所取的基准帧需要在视频帧序列的第3到第n‑2帧范围内,以保证前后共4幅运动估计图像的生成。
4.根据权利要求1所述的一种光流法和深度网络结合的视频高时空分辨率信号处理方法,其特征在于:步骤3中OF深度卷积超分辨率网络的构建方法为:步骤3‑1,由于产生了5幅图像的高维图像块,输入的高维图像维度为H*W*5*C;
步骤3‑2,浅层网络使用卷积操作提取图像特征信息;
2
步骤3‑3,倒数第二层浅层网络形成H*W*C*r的图像特征块;
2
步骤3‑4,最后一层网络亚像素卷积层从H*W*C*r的图像特征块中重建高分辨率图像。
5.根据权利要求4所述的一种光流法和深度网络结合的视频高时空分辨率信号处理方法,其特征在于:所述亚像素卷积层的具体实现方法是使用大小为ks的卷积核Ws进行步长为的卷积可以激活Ws的不同部位,在像素之间的权重不需要计算,被激活的像素取决于他们的位置,最多有 的权重被激活;当卷积核在逐步扫过整个特征图像空间时,依据不同亚像素的位置周期性的激活,实现这种周期性方法通过mod(x,r)和mod(y,r),x和y是和高分辨率空间相对应的输出像素;
通过公式表示为:
SR L LR L‑1 LR
I =f(I )=PS(WL*f (I )+bL)SR LR
上式中,I 为重构的超分辨率图像,I 是最后一层输出的低分辨率图像块,PS是周期性激活函数,WL是低分辨率图像的宽度,bL为神经网络的偏置;
使用均方误差作为网络迭代的依据,公式如下:
LR HR
上式中,l(W1:L,b1:L)为迭代中的误差,r为缩放因子,H和W分别指图像的高和宽,I 和I分别为输入的低分辨率图像和原始高分辨率图像。
6.根据权利要求1所述的一种光流法和深度网络结合的视频高时空分辨率信号处理方法,其特征在于:步骤4中训练步骤为:步骤4‑1,使用Python语言,微软的开源深度学习框架TensorFlow框架,batch‑size为
32,epoch为100,子图像大小为17*17,学习率为0.001;
步骤4‑2,对网络进行训练,选取Xiph基金会构建的视频训练数据集Xiph的部分视频序列,其中包含10个视频序列共2695张图像帧;将训练数据集的高分辨率图像与高分辨率图像的高维图像块分别作为标签和输入数据送入网络进行训练。