欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020114172102
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-05-10
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于门控循环单元的视频预测方法,其特征在于:该方法包括以下步骤:S1、数据处理阶段;使用构建视频数据处理模块,该模块将输入的各种格式视频根据输入的参数进行视频帧的提取;

S2、搭建视频特征提取模型,该视频特征提取模型使用卷积神经网络和视频特征自动编码网络;将待提取的视频输入视频特征提取模块,通过卷积神经网络和自动编码网络提取原始视频帧的相关特征;

S3、使用门控循环单元网络搭建视频预测模型;将提取的视频特征和原始的视频输入视频预测模型中,并对模型进行训练,让视频预测模型预测后续的视频帧;

S4、损失和参数优化;将预测的视频帧和对应的原始帧通过定义的损失函数进行损失计算,在通过反向传播进行参数和损失优化;直到优化到一定程度即损失值到达预期要求且不在继续下降时即停止模型训练;

S5、可视化;将记录的损失函数通过画图来更直观的显示损失值的变化过程;将预测的视频帧也进行可视化,从视觉上来判断预测的视频帧是否到达预测要求。

2.根据权利要求1所述的基于门控循环单元的视频预测方法,其特征在于:所述的步骤S1具体包括:

S11、数据处理阶段需要借助多媒体处理工具FFMPEG,循环数据集中的每一个视频根据参数集ρ=(I,R,F,S,O)进行视频帧的提取;其中I是视频所在路径,R表示每秒提取多少帧,F表示视频帧输出的格式,S表示视频帧输出的尺寸,O表示视频帧输出的路径;

S12、对提取到的视频帧数据集进行清洗,去除空帧和不清晰的帧;再将数据进行加载,并对数据集进行打包和打乱进一步操作。

3.根据权利要求1所述的基于门控循环单元的视频预测方法,其特征在于:所述的步骤S2具体包括:

S21、特征提取模块使用的是在提取特征和降维方面性能良好且不会发生权重爆炸的卷积Auto Encoder模型;在提取前景时使用的是VGG网络结构,该网络结构由尺寸为3*3的卷积核的卷积神经网络和尺寸为2*2的池化核的最大池化层堆叠组成;背景提取使用的是残差网络结构,该网络有很多版本,特征提取中使用的是resnet50的残差网络;

S21、特征提取提取表示输入视频的数字向量,特征提取模块使用卷积神经网络将输入的视频进行特征映射到特征值矩阵;特征值矩阵有两种,分别是128维的前景特征矩阵和10维的背景特征矩阵。

4.根据权利要求1所述的基于门控循环单元的视频预测方法,其特征在于:所述的步骤S3具体包括:

S31、使用循环神经网络中的门控循环单元网络来搭建视频预测网络,对于GRU,是通过两个门控系统‑重置门和更新门来对隐藏状态和输入数据进行控制;对于第一个GRU,在第i步时间,其第一GRU的隐藏层 的计算式为:其中,xi为第i时间步视频特征序列中的元素, 为第一GRU的第i‑1时间步的隐藏层,GRU1(*)表示第一门控循环控制单元;

根据权利一所述的一种基于门控循环单元的视频预测方法,其特征在于,所述的预测模块包括依次连接的第二个GRU对于第二个GRU和全连接网络;对于第二个GRU,其计算式为:

其中 为上一GRU在时间步i的输出信息, 为第二GRU的i‑1时间步的隐藏层, 为第二个GRU的初始隐藏层,GRU2(*)为第二个门控循环单元网络;

对于全连接层,其计算式为:

f

O=tanh(W .h)

f

其中W为全连接层的权重矩阵,h为GRU的最终输出,tanh(*)是一种激活函数,将输入的值映射在[‑1,1]之间。

5.根据权利要求1所述的基于门控循环单元的视频预测方法,其特征在于:所述的步骤S4具体包括:

S41、初始化模型的学习率,并使每轮训练的学习率递减,使用均方差损失函数对视频预测模型进行M轮优化;

S42、使用峰值信噪比和结构相似性度量方法来评估模型,其中PSNR的计算式为:其中,MSE是生成帧和原始帧的均方差,MAX为生成帧的像素灰度值的最大值;

SSIM的计算式为:

其中,μR、μG分别为R和G的像素灰度值均值,σR、σG分别为R和G的像素灰度值的标准差,σRG表示R和G像素灰度值协方差,C1、C2为超参数,为了防止除数为0。