1.一种基于场景切换下视频补帧算法的超分辨率重建方法,其特征在于,具体操作步骤如下:步骤(1.1):对视频数据集进行预处理,所述的预处理包括帧抽取、裁剪和制作高、低分辨率数据集;
其中,对视频数据集进行预处理的具体操作方法步骤如下:步骤(1.1.1)、按帧抽取视频数据集,对其进行中心裁剪得到视频数据集的图像,所述图像的裁剪尺寸为256*256;
步骤(1.1.2)、将裁剪后的图像复制成两份,一份保存为高分辨率数据集,即为目标数据集;
步骤(1.1.3)、对另一份图像进行下采样操作,得到低分辨率数据集,即为输入数据集;
其中,输入数据集中的图像称为低分辨率图像;
步骤(1.2):同时,利用亚像素卷积搭建超分辨率重建网络;
其具体操作步骤如下:
步骤(1.2.1)、输入步骤(1.1.3)中得到的低分辨率图像,该图像的体积大小为H×W×
1,其中,W,H与步骤(1.1.3)中下采样操作的大小成反比,所述的低分辨率图像与步骤(1.3)得到的中间帧图像,共同构成三通道图像;
步骤(1.2.2)、对构成的三通道图像进行三次卷积,输入层通道数为64,输出层通道数
2 2
为r,其中,r与超分辨率的倍数成正比;
2
步骤(1.2.3)、通过步骤(1.2.2),得到通道数为r的与三通道图像大小一样的特征图2
像;再将特征图像中的每个像素的r个通道重新排列成一个r×r区域,对应高分辨率图像2
中一个r×r大小的子块,从而大小为H×W×r的特征图像被重新排列成rH×rW×1的高分辨率图像;
步骤(1.2.4)、用sigmoid函数对重排列后的高分辨率图像进行激活;
步骤(1.3):利用场景识别算法对低分辨率数据集中的每张图像进行场景识别,经过成功识别的图像再输入补帧算法,生成中间帧图像,从而构建中间帧数据集;
其中,所述场景识别算法的具体步骤如下:
步骤(1.3.1):对输入数据集遍历,对相邻帧Ln‑1,Ln进行a×a分块,其中,每一个经过a×a分块生成的小图像块记作L(1)n‑1,L(2)n‑1,L(3)n‑1……L(a)n‑1,L(1)n,L(2)n,L(3)n……L(a)n;
步骤(1.3.2):将小图像块按帧配对,得到图像对[L(1)n‑1,L(1)n],[L(2)n‑1,L(2)n],……[L(a)n‑1,L(a)n];对图像对做通道分离,分离为R、G、B三个通道,计算每个通道的直方图相似值,然后计算a×a块图像对的整体相似值,最终得到相邻帧Ln‑1,Ln两张图像的相似度;再选定一个阈值,当相似度大于阈值时,则进入到步骤(1.3.3),否则转到步骤步骤(1.4)中的(1.4.1);
所述补帧算法的具体操作步骤如下:
步骤(1.3.3):用SIFT算法对相邻帧Ln‑1,Ln进行获得图像关键点,再经过图像关键点进行KNN特征匹配,得到匹配点对;
步骤(1.3.4):从匹配点对中查找计算单应性矩阵所需的源点和终点,使用RANSAC算法给定的掩码计算最优单映射变换矩阵;
步骤(1.3.5):根据变换矩阵对图像Ln‑1进行透视变换,得到中间帧ln‑1;同理,再对相邻两帧Ln+1,Ln进行补帧算法,得到中间帧ln+1;
步骤(1.4):将步骤(1.3)中识别失败的图像进行复制,作为伪中间帧图像,将其放入至中间帧数据集中,后将低分辨率数据集和中间帧数据集对齐,共同输入至超分辨率重建网络中进行训练;
其中,将低分辨率数据集中的每张图像和补帧算法生成的帧图像对齐的操作步骤具体如下:步骤(1.4.1):将步骤(1.3.5)得到的两张中间帧ln‑1,ln+1分别记为Lbefore和Lafter;当前′帧为Ln,如步骤(1.3.1)的帧相似度小于阈值,则复制当前帧Ln,记作Ln;
步骤(1.4.2):将中间帧和当前帧按[Lbefore,Ln,Lafter]对齐,其中,如步骤(1.3.1)的帧′ ′相似度小于阈值,则Lbefore=Ln或Lafter=Ln,三帧对齐后一起输入到超分辨率重建网络;
步骤(1.5):完成训练,测试实验结果。