1.基于时空特征融合和双向循环神经网络的视频去模糊方法,其特征在于,具体包括以下步骤:步骤S1,数据预处理:将输入的模糊视频划分为以当前帧和其前后四帧图像为基本单元的序列,并以此作为输入到基于时空特征融合和双向循环神经网络的视频去模糊模型中;
步骤S2,构建视频去模糊模型:包括前向单元、反向单元和时空特征融合重建模块;所述前向单元和后向单元分别将当前帧的特征信息在时间上向后和向前传播;所述时空特征融合重建模块分别利用前后帧的特征与当前帧进行有效的时间特征融合并重建;
所述前向单元和后向单元由基于密集注意力块DAB的RNN单元组成,具体包括:在所述前向单元中,首先从输入的模糊帧中提取特征,然后与上一前向单元输出的隐藏状态拼接,再由级联的多个密集注意力DAB提取模糊特征,输出的隐藏状态传播到后一前向单元,输出的前向潜在特征输入到后向单元;
在所述后向单元中,接收前向潜在特征作为输入进行模糊特征提取,然后与后一后向单元输出的隐藏状态拼接提取特征,输出的隐藏状态传播到上一后向单元,输出的潜在特征输入时空特征融合重建模块中,重建出清晰的图像;
所述多个密集注意力块DAB之间增加残差连接,具体来说每一个密集注意力块DAB包括密集特征提取模块和通道注意力机制以及残差连接,密集特征提取模块由四个卷积组进行特征提取,并在不同组间增加密集连接;所述卷积组包括1个3x3卷积层、一个ReLU激活函数、一个3x3扩张卷积和一个ReLU激活函数;通道注意力机制包括一个全局平均池化操作、一个1x1卷积层、一个ReLU激活函数、一个1x1卷积层、一个非线性激活函数sigmoid,得到权重注意力图并与提取到的特征相乘得到权重特征;所述残差连接是指将输入特征与权重特征相加;
步骤S3,训练视频去模糊模型:基于输入的模糊视频和其对应的清晰视频图像计算L1损失进行反向传播,以更新模型参数;
步骤S4,重建清晰视频:输入模糊的视频到训练好的去模糊模型中,输出并保存生成的清晰视频。
2.根据权利要求1所述的基于时空特征融合和双向循环神经网络的视频去模糊方法,所述步骤S2中,具体包括以下步骤:将所述输入基本单元序列输入至前向单元中提取图像特征,得到不同时刻前向潜在特征;
将所述前向潜在特征输入至后向单元中继续提取模糊特征,得到不同时刻后向潜在特征;
将所述不同时刻的后向潜在特征输入值时空特征融合重建模块,进行当前帧重建,重复此过程得到清晰的视频序列。
3.根据权利要求1所述的基于时空特征融合和双向循环神经网络的视频去模糊方法,其特征在于,所述步骤S2中,时空特征融合重建模块具体包括:将所述后向单元前后帧四个潜在特征和当前帧潜在特征经过1x1卷积层进行线性嵌入;
将嵌入后的特征分别对应相乘并经过softmax激活函数得到当前帧与前后帧之间的映射特征;
将所述四个映射特征进行平均并与当前帧特征相乘得到融合特征;
将所述融合特征经过1x1卷积层后与当前帧相加得到最终的重建帧。
4.根据权利要求1所述的基于时空特征融合和双向循环神经网络的视频去模糊方法,其特征在于,所述步骤S3中用重建的去除模糊的视频和真实清晰视频之间的L1损失作为损失函数进行模型训练,并更新模型参数。