1.一种视频描述方法,其特征在于,包括如下步骤:
S1:导入视频数据集,所述视频数据集包括多个视频数据,并分别对各个所述视频数据进行第一次融合分析,得到与各个所述视频数据对应的第一融合特征;
S2:构建训练模型,根据多个所述第一融合特征对所述训练模型进行训练,得到目标视频描述模型;
S3:分别对各个所述视频数据进行第二次融合分析,得到与各个所述视频数据对应的第二融合特征;
S4:通过所述目标视频描述模型对多个所述第二融合特征进行视频描述,得到视频描述结果;
所述步骤S1中,分别对各个所述视频数据进行第一次融合分析,得到与各个所述视频数据对应的第一融合特征的过程包括:基于卷积神经网络,通过所述卷积神经网络分别对各个所述视频数据进行第一次特征提取,得到与各个所述视频数据对应的第一2D视觉特征以及与各个所述视频数据对应的第一3D运动特征;
分别对各个所述第一2D视觉特征以及与各个所述视频数据对应的第一3D运动特征进行第一门控融合,得到与各个所述视频数据对应的第一融合特征;
所述分别对各个所述第一2D视觉特征以及与各个所述视频数据对应的第一3D运动特征进行第一门控融合,得到与各个所述视频数据对应的第一融合特征的过程包括:通过第一式分别计算各个所述第一2D视觉特征以及与各个所述视频数据对应的第一3D运动特征的融合特征,得到与各个所述视频数据对应的第一融合特征,所述第一式为:xi=σ(W*rm+b)*fm+fm,
其中,xi为第一融合特征,σ为非线性激活函数,W和b均为学习参数,rm为2D第一视觉特征,fm为第一3D运动特征;
所述步骤S3的过程包括:
通过所述卷积神经网络分别对各个所述视频数据进行第二次特征提取,得到与各个所述视频数据对应的第三2D视觉特征以及与各个所述视频数据对应的第三3D运动特征;
分别对各个所述第三2D视觉特征以及与各个所述视频数据对应的第三3D运动特征进行第二门控融合,得到与各个所述视频数据对应的第二融合特征。
2.根据权利要求1所述的视频描述方法,其特征在于,所述步骤S2的过程包括:构建训练网络,所述训练网络包括视觉特征重构网络和原始视频描述模型;
基于LSTM长短期记忆网络,通过所述LSTM长短期记忆网络分别对各个所述第一融合特征进行解码,得到与各个所述第一融合特征对应的隐藏状态信息;
通过所述视觉特征重构网络分别对各个所述隐藏状态信息进行特征重构,得到与各个所述第一融合特征对应的第二2D视觉特征以及与各个所述第一融合特征对应的第二3D运动特征;
分别计算各个所述第二2D视觉特征以及与各个所述视频数据对应的第一2D视觉特征的相似度损失,得到与各个所述视频数据对应的2D特征相似度损失值;
分别计算各个所述第二3D运动特征以及与各个所述视频数据对应的第一3D运动特征的相似度损失,得到与各个所述视频数据对应的3D特征相似度损失值;
判断所有的2D特征相似度损失值以及所有的3D特征相似度损失值是否均大于预设判断阈值,若是,则根据多个所述2D特征相似度损失值和多个所述3D特征相似度损失值对所述原始视频描述模型进行参数更新,并返回步骤S2中,再次通过所述视觉特征重构网络分别对各个所述隐藏状态信息进行特征重构;若否,则将所述原始视频描述模型作为目标视频描述模型。
3.根据权利要求2所述的视频描述方法,其特征在于,所述分别计算各个所述第二2D视觉特征以及与各个所述视频数据对应的第一2D视觉特征的相似度损失,得到与各个所述视频数据对应的2D特征相似度损失值的过程包括:通过第二式分别计算各个所述第二2D视觉特征以及与各个所述视频数据对应的第一2D视觉特征的相似度损失,得到与各个所述视频数据对应的2D特征相似度损失值,第二式为:L1=cos(rm,pm),
其中,L1为2D特征相似度损失值,rm为第一2D视觉特征,γ为参数,pm为第二2D视觉特征,cos为余弦距离函数。
4.根据权利要求2所述的视频描述方法,其特征在于,所述分别计算各个所述第二3D运动特征以及与各个所述视频数据对应的第一3D运动特征的相似度损失,得到与各个所述视频数据对应的3D特征相似度损失值的过程包括:通过第三式分别计算各个所述第二3D运动特征以及与各个所述视频数据对应的第一3D运动特征的相似度损失,得到与各个所述视频数据对应的3D特征相似度损失值,所述第三式为:L2=cos(fm,km),
其中,L2为3D特征相似度损失值,fm为第一3D运动特征,km为第二3D运动特征,cos为余弦距离函数。
5.一种视频描述装置,其特征在于,包括:
第一融合分析模块,用于导入视频数据集,所述视频数据集包括多个视频数据,并分别对各个所述视频数据进行第一次融合分析,得到与各个所述视频数据对应的第一融合特征;
模型训练模块,用于构建训练模型,根据多个所述第一融合特征对所述训练模型进行训练,得到目标视频描述模型;
第二融合分析模块,用于分别对各个所述视频数据进行第二次融合分析,得到与各个所述视频数据对应的第二融合特征;
视频描述结果获得模块,用于通过所述目标视频描述模型对多个所述第二融合特征进行视频描述,得到视频描述结果;
所述第一融合分析模块中,分别对各个所述视频数据进行第一次融合分析,得到与各个所述视频数据对应的第一融合特征的过程包括:基于卷积神经网络,通过所述卷积神经网络分别对各个所述视频数据进行第一次特征提取,得到与各个所述视频数据对应的第一2D视觉特征以及与各个所述视频数据对应的第一3D运动特征;
分别对各个所述第一2D视觉特征以及与各个所述视频数据对应的第一3D运动特征进行第一门控融合,得到与各个所述视频数据对应的第一融合特征;
所述第一融合分析模块中,分别对各个所述第一2D视觉特征以及与各个所述视频数据对应的第一3D运动特征进行第一门控融合,得到与各个所述视频数据对应的第一融合特征的过程包括:通过第一式分别计算各个所述第一2D视觉特征以及与各个所述视频数据对应的第一3D运动特征的融合特征,得到与各个所述视频数据对应的第一融合特征,所述第一式为:xi=σ(W*rm+b)*fm+fm,
其中,xi为第一融合特征,σ为非线性激活函数,W和b均为学习参数,rm为2D第一视觉特征,fm为第一3D运动特征;
所述第二融合分析模块具体用于:
通过所述卷积神经网络分别对各个所述视频数据进行第二次特征提取,得到与各个所述视频数据对应的第三2D视觉特征以及与各个所述视频数据对应的第三3D运动特征;
分别对各个所述第三2D视觉特征以及与各个所述视频数据对应的第三3D运动特征进行第二门控融合,得到与各个所述视频数据对应的第二融合特征。
6.一种视频描述系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,当所述处理器执行所述计算机程序时,实现如权利要求1至4任一项所述的视频描述方法。
7.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,当所述计算机程序被处理器执行时,实现如权利要求1至4任一项所述的视频描述方法。