1.基于自适应多层次注意力的帧循环视频超分辨方法,其特征在于,包括如下步骤:
1)数据集预处理:对获取的高清视频帧数据集Vimeo-90K进行高斯核为1.6的模糊处理,并进一步采用4倍的尺度下采样得到低分辨率视频帧,得到训练集T;
2)建立重建模型:应用重建模型Model对训练数据集T进行处理、得到超分辨图像SR:重建模型Model由自适应多层次注意力过程AMLANet和重构过程RNet组成,包括:
2-1)将训练集中的样本It,It-1和前一次的隐藏状态时间信息特征图Ht-1进行通道融合,得到输入特征f1;
2-2)将输入特征f1输入3*3卷积核的卷积进行通道降维,得到特征f2;
2-3)将特征f2输入一层卷积层得到浅层特征f3;
2-4)将浅层特征f3输入到N个自适应多层次注意力模块AMLAB输出特征f4;
2-5)将特征f4输入3*3卷积核的卷积进行通道数降维,输出特征X3;
2-6)特征X3输入重构网络Rnet,重构网络Rnet由4层残差层、2层并行卷积层、1层Dropout层、1层亚像素卷积层组成,输出得到最终超分辨图像SR;
3)自适应多层次注意力过程:步骤2)中步骤2-4)的自适应多层次注意力模块AMLAB首先输入特征x0经过一层卷积操作进行通道数降维得到特征x1,之后经过由多个级联卷积层且每一层进行输出构成的残差多层次块RMLB得到特征x2,其次,对得到特征x2分别通过通道注意力模块CAB、空间注意力模块SAB后和输入特征x2进行并行相加得到特征x3,且每一条支路都加入可学习的参数β、α、μ,最后,对特征x1和特征x3进行逐元素相加后再与对加入可学习参数λ的输入特征x0进行拼接融合得到最终自适应多层次注意力模块输出特征xAMLAB,所述过程如下公式所示:x1=σ(conv3(x0)),
x2=RMLB(x1),
x3=β*CAB(x2)+μ*x2+α*SAB(x2),
xAMLAB=concatδ((x3+x1),λ*x0),
其中,conv3为3x3卷积核的卷积,σ为激活函数层,concatδ表示融合方式为通道拼接方式;
4)重构过程:将步骤2)中所述的自适应多层次注意力过程AMLANet所提取的特征X3作为重构过程的输入,首先将输入特征X3经过4层残差块RB,得到细化的特征图X4,其中,每一残差块设有两层3x3卷积核的卷积和一层Relu激活层;对得到细化的特征图X4分别进行卷积层以及激活函数层σ、Dropout层与卷积层得到隐藏信息特征图ht、重构输出特征图ot;对ht、ot进行通道拼接融合concat得到最终隐藏信息特征图Ht,同时对ot进行亚像素卷积Pixel得到特征图与对应进行双三次上采样Bicubic重构帧的低分辨图It按逐元素相加得到最终超分辨图SR;
5)模型训练:本文模型采用端到端训练的方式,先采用L1损失函数加快收敛程度、再采用L2损失函数进行微调,如下公式所示:L1损失函数:
L2损失函数:
2.根据权利要求1所述的基于自适应多层次注意力的帧循环视频超分辨方法,其特征在于,步骤3)中所述的残差多层次块RMLB为:首先输入特征x1经过由三层卷积核为3x3的卷积层conv3进行级联且每一层卷积后都加入激活函数层σ,并在每一层输出分别表示为Fa、Fb、Fc进行通道拼接融合concat,再通过1x1卷积核的卷积conv1进行通道数的降维得到特征与残差多层次模块RMLB的输入特征x1进行逐元素相加构成残差多层次模块,公式如下:x2=conv1(concat(Fa,Fb,Fc))+x1。
3.根据权利要求1所述的基于自适应多层次注意力的帧循环视频超分辨方法,其特征在于,步骤3)中所述的通道注意力模块CAB为:首先输入特征分别通过3x3卷积核的卷积层conv3以及激活函数层σ、5x5卷积核的卷积层conv5以及激活函数层,分别得到特征F3、特征F5;之后把特征F3和特征F5进行逐像素相加生成CxHxW大小的特征图,进行全局平均池化Fgp生成Cx1x1的特征图sc,再通过全连接fc层进行降维成Zx1x1的特征图zc;之后进行全连接fc进行通道维扩张,通过softmax后进行通道分配split,再与相对应的不同感受野的特征层进行对应点乘,最终点乘后的特征层进行逐像素相加得到最终输出的特征层V,公式如下:F3=σ(conv3(x2)),
F5=σ(conv3(x2)),
sc=Fgp(F3+F5),
zc=fc(sc),
fc=fc(zc),
V=split(softmax(fc))*F3+split(softmax(fc))*F5,其中,x2为残差多层次模块输出特征。
4.根据权利要求1所述的基于自适应多层次注意力的帧循环视频超分辨方法,其特征在于,步骤3)中所述的空间注意力模块SAB为:首先输入特征分别进行全局最大池化GMP,全局平均池化GAP得到1*H*W的特征图F1、1*H*W的特征图F2S2,对其特征图F1、特征图F2进行按通道拼接concat构成2*H*W的特征图后依次通过多层感知机MLP,Sigmoid函数运算后与输入特征进行点乘运算⊙以此构成空间注意力,多层感知机MLP由2层1*1卷积核的卷积层、1层激活函数Relu层、1层7*7卷积核的卷积层组成,公式如下:F1=GAP(x2),
F2=GAP(x2),
F3=concat(F1,F2),
F4=MLP(F3),
F5=Sigmoid(F4),
FSA=x2⊙F5,
其中,x2为残差多层次模块输出特征。