1.一种基于transformer尺度流估计的视频超分辨成像重建方法,其特征在于,包括如下步骤:
1)数据集预处理:对获取的高清视频帧数据集Vimeo‑90K进行高斯核为1.6的模糊处理,并进一步采用4倍的尺度下采样得到低分辨率视频帧,得到训练集T;
2)建立重建模型:应用重建模型Model对训练数据集T进行处理,得到超分辨图像SR,重建模型Model设有预尺度隐藏状态过程PSHSnet、transformer尺度流估计过程TSFEnet、尺度交互融合过程SIFnet、重构过程Rnet,包括:
2‑1)将训练集T中的多帧样本It,It‑1...It‑n输入预尺度隐藏状态过程PSHSnet,得到多个尺度的初始隐藏状态特征H0、H01/2,H01/4,其中,预尺度隐藏状态过程PSHSnet过程为:首先,输入多帧低分辨视频帧It,It‑1...It‑n分别经过一层3*3卷积操作conv3进行浅层特征提取,之后对提取到的特征进行通道拼接融合conccat,得到融合特征x1;其次,特征x1通过由每一层都是通道注意力组成的Unetattention模型,得到特征x2;然后,特征x2经过由5层残差单元组成的残差块RB,得到特征x3;最后,特征x3通过没有亚像素组成的重构网络Rnet,初始隐藏状态特征信息H0,对初始隐藏状态特征信息H0进行2倍下采样,得到下采样特征H01/2,对下采样特征H01/2进行2倍下采样,得到下采样特征H01/4,所述过程如公式(1)、公式(2)、公式(3)、公式(4)、公式(5)、公式(6)所示:x1=conccat(conv3(It),conv3(It‑1)...conv3(It‑n)) (1),x2=Unetattention(x1) (2),x3=RB(x2) (3),H0=Rnet(x3) (4),H01/2=Downsample(H0) (5),H01/4=Downsample(H01/2) (6);
2‑2)将训练集T中的样本It,It‑1和初始隐藏状态特征输入transformer尺度流估计过程TSFEnet,得到不同尺度融合特征X1、X2、X3,其中,transformer尺度流估计过程TSFEnet为:
2‑2‑1)输入两帧低分辨视频帧It,It‑1通过共享权重的残差块,分别得到特征f1、f2;
2‑2‑2)将特征f1、f2输入到两层残差块进行下采样,得到第一层下采样后的特征f11/2、f21/2,第二层下采样后的特征f11/4、f21/4;
2‑2‑3)将得到不同尺度的特征f1、f2,第一层下采样特征f11/2、f21/2,第二层下采样f11/4、f21/4分别输入各自的transformer流估计网络TFEnet,分别得到流估计flow,flow1/2,flow1/4;
2‑2‑4)对特征f11/4、隐藏状态特征H01/4进行flow1/4流估计,得到扭曲特征f121/4、H01/4warp;
2‑2‑5)对特征f121/4、H01/4warp、f21/4进行通道数拼接融合,得到特征X3;
2‑2‑6)对特征X3输入到残差块进行上采样,得到特征X32;
2‑2‑7)对特征f11/2、隐藏状态特征H01/2、f21/2重复2‑2‑5)、2‑2‑6的操作,得到特征x2;
2‑2‑8)对特征X32、x2进行通道数拼接融合,得到特征X2;
2‑2‑9)对特征X2输入到残差块进行上采样,得到特征X21;
2‑2‑10)对特征f1、隐藏状态特征H0、f2重复2‑2‑5)、2‑2‑6的操作,得到特征x1;
2‑2‑11)对特征X23、x1进行通道数拼接融合,得到特征X1;
2‑3)将步骤2‑2)得到融合特征X1、X2、X3输入尺度交互融合网络SIFnet,得到高频细节特征信息f3,所述尺度交互融合网络网络SIFnet由四个尺度组成的Unet模型构成,其中模型最底层由transformer组成,其余层由残差多层次块组成,具体尺度交互融合过程SIFnet为:
2‑3‑1)输入特征X1经过下采样的第一层残差多层次模块,得到特征Z1;
2‑3‑2)将特征Z1经过一层卷积进行下采样,得到特征Z2,
2‑3‑3)将特征Z2和特征X2进行通道数拼接融合后输入到下采样的第二层残差多层次块,得到特征Z3;
2‑3‑4)将特征Z1经过一层卷积进行下采样,得到特征Z4;
2‑3‑5)将特征Z4和特征X3进行通道数拼接融合后输入到下采样的第三层残差多层次块,得到特征Z5;
2‑3‑6)将特征Z5经过一层卷积进行下采样,得到特征Z6;
2‑3‑7)将特征Z5输入到交叉transformer层,得到特征Z7;
2‑3‑8)将特征Z7进行反卷积,得到上采样特征Z8;
2‑3‑9)将特征Z8与特征Z5进行通道数拼接融合后输入上采样的第一层残差多层次块,得到特征Z9;
2‑3‑10)将特征Z9进行反卷积,得到上采样特征Z10;
2‑3‑11)将特征Z10与特征Z5进行通道数拼接融合后输入上采样的第二层残差多层次块,得到特征Z11;
2‑3‑12)将特征Z11进行反卷积,得到上采样特征Z12;
2‑3‑13)将特征Z12与特征Z3进行通道数拼接融合后输入上采样的第二层残差多层次块,得到特征Z13;
2‑3‑14)将特征Z13进行反卷积,得到上采样特征Z14;
2‑3‑15)将特征Z14与特征Z1进行通道数拼接融合后输入上采样的第二层残差多层次块,得到高频细节特征信息f3;
2‑4)将步骤2‑3)得到高频细节特征信息f3输入重构网络Rnet,重构网络Rnet由4层残差层、2层并行卷积层、1层Dropout层、1层亚像素卷积层组成,输出得到第一帧的超分辨图像SR1、隐藏状态信息特征Ht1,具体重构过程Rnet为:首先对输入特征f3分别进行卷积层以及激活函数层σ、Dropout层与卷积层得到隐藏信息特征图ht、重构输出特征图ot;再对ht、ot进行通道拼接融合concat得到最终隐藏信息特征图Ht,对隐藏信息特征图Ht进行两层下采样,得到下采样特征图Ht1/2、Ht1/4;同时对ot进行亚像素卷积Pixel得到特征图与对应进行双三次上采样Bicubic重构帧的低分辨图It按逐元素相加得到最终超分辨图SR;
3)模型训练:网络采用端到端训练的方式,先采用L1损失函数加快收敛程度,再采用L2损失函数进行微调,如公式(7)、公式(8)所示:L1损失函数:
L2损失函数:
2.根据权利要求1所述的基于transformer尺度流估计的视频超分辨成像重建方法,其特征在于,步骤2)中所述的transformer流估计网络TFEnet为:首先假设输入特征为F1、F2输入交叉transformer进行自相似性的特征增强,得到特征F3、F4,其中特征F1为交叉注意力的query(Q),特征F2为key(K)和value(V);最后,特征F3、F4通过相关性softmax进行流估计,得到最终流估计flow,其中相关性softmax由矩阵运算和softmax组成,如公式(9)、公式(10)、公式(11)所示:H×W×H×W
M=softmax(C)∈R (11),
其中dk、D为一个标准化因子。
3.根据权利要求1所述的基于transformer尺度流估计的视频超分辨成像重建方法,其特征在于,步骤2)中所述的多层次残差块MRLB为:首先输入特征x1经过由三层卷积核为3x3的卷积层conv3进行级联且每一层卷积后都加入激活函数层σ,并在每一层输出分别表示为Fa、Fb、Fc进行通道拼接融合concat,再通过1x1卷积核的卷积conv1进行通道数的降维得到特征与多层次残差模块MRLB的输入特征x1进行逐元素相加构成残差多层次模块,得到的特征表示为FMRLB,公式如下:FMRLB=conv1(concat(Fa,Fb,Fc))+x1 (12)。