1.一种多个注意力结合光流的视频超分辨模型,其特征在于:该模型包括特征提取部分、特征处理部分、可变形卷积部分和视频重建部分;视频帧依次通过四个部分达到超分辨;所述的特征处理部分包括多注意力分支和注意力光流估计分支;所述的多注意力分支包括空间注意力模块、自注意力模块、卷积模块和上采样模块;注意力光流估计分支包括空间注意力模块、通道注意力模块、光流估计网模块、卷积模块和上采样模块;所述的多注意力分支中的模块按视频帧经过顺序为空间注意力模块-自注意力模块-卷积模块-上采样模块-卷积模块;注意力光流估计分支中的模块按视频帧经过顺序为:同时经过空间注意力模块和通道注意力模块,再进入光流估计网模块-卷积模块-上采样模块-卷积模块。
2.根据权利要求1所述的一种多个注意力结合光流的视频超分辨模型,其特征在于:所述的特征提取部分包括两个卷积模块和三个残差密集模块,输入的视频帧依次经过两个卷积模块和三个残差密集模块,再进入特征处理模块;视频重建部分为卷积模块。
3.一种利用权利要求2的模型进行多个注意力结合光流的视频超分辨方法,其特征在于,其步骤为:步骤一、输入连续的2n+1个低分辨的视频帧;
步骤二、将视频帧输入模型的特征提取部分,提取视频帧特征F;
步骤三、将提取的特征F分别送入多注意力分支和注意力光流估计分支,可以得到两个分支的输出Fa和Ff;
步骤四、对Fa和Ff进行上采样后,输入DLSTM和一个卷积模型,得到视频超分辨特征Fd。
4.根据权利要求3所述的一种多个注意力结合光流的视频超分辨方法,其特征在于:所述的步骤一中,输入的视频帧为MAFnet中的2n+1个LR帧,其序列为MAFnet输入大小为(ML×NL),其中是输出的HR帧,表示为ISR,大小为(MH×NH),并且MH>ML,NH>NL。
5.根据权利要求4所述的一种多个注意力结合光流的视频超分辨方法,其特征在于:所述的步骤二中,视频帧经过两次卷积操作和残差密集块操作获得特征F,F=Hrdb(Hc1(Hc0(ILR))) (1)其中,ILR表示输入的低分辨帧,Hrdb(·)表示残差密集块操作,Hc(·)表示卷积操作。
6.根据权利要求5所述的一种多个注意力结合光流的视频超分辨方法,其特征在于:所述的步骤三中,提取的特征F送入多注意力分支和注意力光流估计分支,分别得到多注意力分支输出,式(2),和注意力光流估计分支输出,式(3),Fa=Hse(Hsa(Hca(F))) (2)Ff=Hf(Hsa(F),Hca(F)) (3)其中,Hse(·)为自注意力模块函数,Hsa(·)为空间注意力模块函数,Hca(·)为通道注意力模块函数,Hf(·)为光流模块函数。
7.根据权利要求6所述的一种多个注意力结合光流的视频超分辨方法,其特征在于:所述的通道注意力模块中,将特征输入后,分别经自适应平均池化和自适应最大池化后,经卷积通道缩小并经过激活函数ReLU,随后经过卷积恢复通道;将得到的两特征相加经过Sigmoid函数得到注意力特征图,再将注意力特征图与输入特征作矩阵乘法得到输出特征;
所述的空间注意力模块中,将特征输入后,先经过卷积和激活函数LReLU,再经过由平均池化、最大池化和连接操作构成的池化层,接着经过卷积和LReLU得到特征1,之后,经过重复的卷积、LReLU和池化层结构,并经过两次卷积和LReLU结构,再进行插值运算得到特征2,将特征1和特征2相加后经过卷积、LReLU和插值运算,将特征依次送入两个卷积和LReLU,得到特征3,利用Sigmoid函数得到注意力特征图,将注意力特征图和输入特征作矩阵乘法,并将结果与特征3相加得到输出特征;
所述的自注意力模块中,将特征输入后,分别经过三个卷积通道,得到特征1、特征2和特征3,特征1与特征2作矩阵乘法并经过softmax函数得到注意力图,再与特征3作矩阵乘法得到输出特征。
8.根据权利要求7所述的一种多个注意力结合光流的视频超分辨方法,其特征在于:所述的光流估计分支中,给定任何两个相邻帧Ii,Ii+1,则光流计算公式可以表示为fi→i+1=Nf(Ii,Ii+1) (4)其中,Nf表示光流估计网络。
9.根据权利要求7所述的一种多个注意力结合光流的视频超分辨方法,其特征在于:所述的步骤四中,对Fa和Ff进行上采样y1=Hc4(↑(Hc2(Fa))) (5)y2=Hc5(↑(Hc3(Ff))) (6)其中,↑表示上采样;将y1,y2送入DLSTM,再经过一层卷积得到最后的输出Fd=Hc6(DLSTM(y1,y2) (7)其中,Fd表示经过DLSTM和最后重建卷积得到的特征;整个网络最后表示为
ISR=HMAFnet(ILR) (8)。