1.一种面向高帧率视频的可回溯帧率转换模型构建方法,其特征在于,包括以下步骤:S1、对高帧率视频与低帧率视频之间的帧率转换关系进行建模;
S2、从包含视频信息特征的两个基本维度空间维度和时间维度提取时空特征,并进行多元时空特征的融合;
S3、从时间以及空间两个层面设计目标损失函数;
S4、构建面向高帧率视频的可回溯帧率转换模型;
所述步骤S1包括以下步骤:
S11、对高帧率视频到低帧率视频的降帧过程进行建模,其公式为S12、对低帧率视频到高帧率视频的升帧过程进行建模,其公式为所述步骤S2包括以下步骤:
S21、从视频帧中提取局部空间特征和时间特征,并将局部空间特征送入空域LSTM网络,学习局部空间特征之间的空间相关性;
S22、将空域LSTM网络输出的特征送入时域LSTM网络,学习局部空间特征之间的时间相关性;
S23、将时域LSTM网络输出的特征送入全连接层,得到与视频帧的时间特征同一维度下的全局空间特征;
S24、将视频帧的时间特征和全局空间特征进行横向级联,得到融合时空特征信息的特征图NS25、对压缩特征图N
所述步骤S3包括以下步骤:
S31、利用L2范数从时间层面计算降帧和升帧过程中所获时间特征的差异,时间特征损失函数为S32、利用KL散度和L1范数从空间层面计算降帧和升帧过程中所获空间特征的差异,空间特征损失函数为所述步骤S4包括以下步骤:
S41、从时、空两个维度提取原始高帧率视频的时间特征和空间特征,并对其进行时空融合;
S42、利用融合后的多元时空特征生成满足码率约束条件的低帧率视频;
S43、利用时空特征恢复模块恢复出隐匿于低帧率视频中的必要视频信息的时空特征,并对其进行时空融合;
S44、利用融合后的多元时空特征指导回溯原始高帧率视频;
S45、在模型的训练过程中,利用降帧过程中提取的多元时空特征从时间和空间两个维度监督升帧过程。