1.一种视频描述方法,其特征在于,包括如下步骤:
S1:导入待训练视频,并构建训练模型,所述训练模型包括第一编码器、特征提取器以及第一解码器;
S2:通过所述第一编码器对所述待训练视频进行编码,得到多个待处理视频特征;
S3:通过所述特征提取器分别对各个所述待处理视频特征进行特征提取,得到与各个所述待处理视频特征对应的初始视频特征以及与各个所述待处理视频特征对应的视觉特征;
S4:通过所述第一解码器分别对各个所述视觉特征进行解码,得到与各个所述待处理视频特征对应的预测标签向量;
S5:导入与各个所述待处理视频特征对应的真实标签,分析所有所述预测标签向量以及所有所述初始视频特征与所有所述真实标签的损失函数,并根据分析结果得到视频描述模型;
S6:导入待描述视频,通过所述视频描述模型对所述待描述视频进行视频描述,得到视频描述结果;
所述第一编码器包括InceptionResNetV2模型、C3D模型以及Faster-RCNN模型,所述S2的过程包括:通过所述InceptionResNetV2模型对所述待训练视频进行特征提取,得到多个初始上下文特征;
通过所述C3D模型对所述待训练视频进行特征提取,得到多个初始动作特征;
通过所述Faster-RCNN模型对所述待训练视频进行特征提取,得到多个初始目标对象特征,其中,所述待处理视频特征包括所述初始上下文特征、所述初始动作特征以及所述初始目标对象特征;
所述特征提取器包括目标对象特征提取单元、动作特征提取单元以及全局特征提取单元,所述初始上下文特征、所述初始动作特征以及所述初始目标对象特征一一对应,所述S3的过程包括:
通过所述目标对象特征提取单元分别对各个所述初始上下文特征、与各个所述初始上下文特征对应的初始动作特征以及与各个所述初始上下文特征对应的初始目标对象特征进行特征提取,得到与各个所述初始上下文特征对应的待处理目标对象特征;
通过所述动作特征提取单元分别对各个所述初始动作特征以及与各个所述初始上下文特征对应的待处理目标对象特征进行特征提取,得到与各个所述初始上下文特征对应的目标动作特征;
通过所述全局特征提取单元分别对各个所述初始上下文特征、与各个所述初始上下文特征对应的待处理目标对象特征以及与各个所述初始上下文特征对应的目标动作特征进行特征提取,得到与各个所述初始上下文特征对应的全局特征;
将各个所述待处理目标对象特征、与各个所述初始上下文特征对应的目标动作特征以及与各个所述初始上下文特征对应的全局特征进行拼接,得到与各个所述待处理视频特征对应的视觉特征,其中,所述初始视频特征包括所述待处理目标对象特征、所述目标动作特征以及所述全局特征;
所述真实标签包括与所述待处理目标对象特征一一对应的目标对象正标签以及目标对象负标签、与所述目标动作特征一一对应的动作正标签以及动作负标签、与所述全局特征一一对应的字幕正标签以及字幕负标签和多个目标单词独热编码,所述S5中,分析所有所述预测标签向量以及所有所述初始视频特征与所有所述真实标签的损失函数,并根据分析结果得到视频描述模型的过程包括:通过BERT模型分别对与各个所述待处理目标对象特征一一对应的目标对象正标签以及目标对象负标签、与各个所述目标动作特征一一对应的动作正标签以及动作负标签和与各个所述全局特征一一对应的字幕正标签以及字幕负标签进行编码,得到与各个所述待处理目标对象特征一一对应的目标对象正标签向量以及目标对象负标签向量、与各个所述目标动作特征一一对应的动作正标签向量以及动作负标签向量和与各个所述全局特征一一对应的字幕正标签向量以及字幕负标签向量;
通过第四式对所有所述目标对象正标签向量、所有所述目标对象负标签向量、所有所述动作正标签向量、所有所述动作负标签向量、所有所述字幕正标签向量、所有所述字幕负标签向量、所有所述待处理目标对象特征、所有所述目标动作特征、所有所述全局特征、所有所述预测标签向量以及所有所述目标单词独热编码进行计算,得到目标损失值,所述第四式为:L=Lo+La+Lg+Lp,
其中,
其中,L为目标损失值,Lo为目标对象损失值,La为动作损失值,Lg为全局损失值,Lp为预测标签损失值,αo为预设目标对象阈值,αa为预设动作阈值,αg为预设全局阈值,d为距离,O'i为第i个初始上下文特征对应的待处理目标对象特征,为第i个待处理目标对象特征对应的目标对象负标签向量,为第i个待处理目标对象特征对应的目标对象正标签向量,A'i为第i个初始上下文特征对应的目标动作特征,为第i个目标动作特征对应的动作负标签向量,为第i个目标动作特征对应的动作正标签向量,Gi为第i个初始上下文特征对应的全局特征,为第i个全局特征对应的字幕负标签向量,为第i个全局特征对应的字幕正标签向量,Pi为第i个初始上下文特征对应的预测标签向量,δ(wi)为第i个目标单词独热编码,L为初始上下文特征的总数;
根据所述目标损失值对所述训练模型进行参数更新,更新后返回S2,直至达到预设迭代次数,将参数更新后的训练模型作为视频描述模型。
2.根据权利要求1所述的视频描述方法,其特征在于,所述目标对象特征提取单元包括第二编码器和第二解码器,所述通过所述目标对象特征提取单元分别对各个所述初始上下文特征、与各个所述初始上下文特征对应的初始动作特征以及与各个所述初始上下文特征对应的初始目标对象特征进行特征提取,得到与各个所述初始上下文特征对应的待处理目标对象特征的过程包括:通过所述第二编码器分别对各个所述初始目标对象特征进行空间映射,得到与各个所述初始上下文特征对应的目标对象空间向量;
通过所述第二解码器分别对各个所述初始上下文特征、与各个所述初始上下文特征对应的初始动作特征以及与各个所述初始上下文特征对应的目标对象空间向量进行解码,得到与各个所述初始上下文特征对应的待处理目标对象特征。
3.根据权利要求1所述的视频描述方法,其特征在于,所述动作特征提取单元包括双向长短期记忆网络,所述通过所述动作特征提取单元分别对各个所述初始动作特征以及与各个所述初始上下文特征对应的待处理目标对象特征进行特征提取,得到与各个所述初始上下文特征对应的目标动作特征的过程包括:通过第一式分别对各个所述初始动作特征以及与各个所述初始上下文特征对应的待处理目标对象特征进行注意力机制的计算,得到与各个所述初始上下文特征对应的物体动作特征,所述第一式为:其中,为第i个初始上下文特征对应的物体动作特征,Attention()为注意力机制函数,O'i为第i个初始上下文特征对应的待处理目标对象特征,Ai为第i个初始动作特征;
通过所述双向长短期记忆网络分别对各个所述物体动作特征以及与各个所述初始上下文特征对应的初始动作特征进行特征提取,得到与各个所述初始上下文特征对应的目标动作特征。
4.根据权利要求1所述的视频描述方法,其特征在于,所述全局特征提取单元包括双向长短期记忆网络,所述通过所述全局特征提取单元分别对各个所述初始上下文特征、与各个所述初始上下文特征对应的待处理目标对象特征以及与各个所述初始上下文特征对应的目标动作特征进行特征提取,得到与各个所述初始上下文特征对应的全局特征的过程包括:通过第二式分别对各个所述初始上下文特征以及与各个所述初始上下文特征对应的待处理目标对象特征进行注意力机制的计算,得到与各个所述初始上下文特征对应的物体上下文特征,所述第二式为:其中,为第i个初始上下文特征对应的物体上下文特征,Attention()为注意力机制函数,O'i为第i个初始上下文特征对应的待处理目标对象特征,Ci为第i个初始上下文特征;
通过第三式分别对各个所述初始上下文特征以及与各个所述初始上下文特征对应的目标动作特征进行注意力机制的计算,得到与各个所述初始上下文特征对应的运动上下文特征,所述第三式为:其中,为第i个初始上下文特征对应的运动上下文特征,Attention()为注意力机制函数,A'i为第i个初始上下文特征对应的目标动作特征,Ci为第i个初始上下文特征;
通过所述双向长短期记忆网络分别对各个所述初始上下文特征、与各个所述初始上下文特征对应的物体上下文特征以及与各个所述初始上下文特征对应的运动上下文特征进行特征提取,得到与各个所述初始上下文特征对应的全局特征。
5.一种视频描述装置,其特征在于,包括:
导入模块,用于导入待训练视频;
构建模块,用于构建训练模型,所述训练模型包括第一编码器、特征提取器以及第一解码器;
编码模块,用于通过所述第一编码器对所述待训练视频进行编码,得到多个待处理视频特征;
特征提取模块,用于通过所述特征提取器分别对各个所述待处理视频特征进行特征提取,得到与各个所述待处理视频特征对应的初始视频特征以及与各个所述待处理视频特征对应的视觉特征;
解码模块,用于通过所述第一解码器分别对各个所述视觉特征进行解码,得到与各个所述待处理视频特征对应的预测标签向量;
导入模块,还用于导入与各个所述待处理视频特征对应的真实标签;
分析模块,用于分析所有所述预测标签向量以及所有所述初始视频特征与所有所述真实标签的损失函数,并根据分析结果得到视频描述模型;
导入模块,还用于导入待描述视频;
描述结果获得模块,用于通过所述视频描述模型对所述待描述视频进行视频描述,得到视频描述结果;
所述第一编码器包括InceptionResNetV2模型、C3D模型以及Faster-RCNN模型,所述编码模块具体用于:通过所述InceptionResNetV2模型对所述待训练视频进行特征提取,得到多个初始上下文特征;
通过所述C3D模型对所述待训练视频进行特征提取,得到多个初始动作特征;
通过所述Faster-RCNN模型对所述待训练视频进行特征提取,得到多个初始目标对象特征,其中,所述待处理视频特征包括所述初始上下文特征、所述初始动作特征以及所述初始目标对象特征;
所述特征提取器包括目标对象特征提取单元、动作特征提取单元以及全局特征提取单元,所述初始上下文特征、所述初始动作特征以及所述初始目标对象特征一一对应,所述特征提取模块具体用于:
通过所述目标对象特征提取单元分别对各个所述初始上下文特征、与各个所述初始上下文特征对应的初始动作特征以及与各个所述初始上下文特征对应的初始目标对象特征进行特征提取,得到与各个所述初始上下文特征对应的待处理目标对象特征;
通过所述动作特征提取单元分别对各个所述初始动作特征以及与各个所述初始上下文特征对应的待处理目标对象特征进行特征提取,得到与各个所述初始上下文特征对应的目标动作特征;
通过所述全局特征提取单元分别对各个所述初始上下文特征、与各个所述初始上下文特征对应的待处理目标对象特征以及与各个所述初始上下文特征对应的目标动作特征进行特征提取,得到与各个所述初始上下文特征对应的全局特征;
将各个所述待处理目标对象特征、与各个所述初始上下文特征对应的目标动作特征以及与各个所述初始上下文特征对应的全局特征进行拼接,得到与各个所述待处理视频特征对应的视觉特征,其中,所述初始视频特征包括所述待处理目标对象特征、所述目标动作特征以及所述全局特征;
所述真实标签包括与所述待处理目标对象特征一一对应的目标对象正标签以及目标对象负标签、与所述目标动作特征一一对应的动作正标签以及动作负标签、与所述全局特征一一对应的字幕正标签以及字幕负标签和多个目标单词独热编码,所述分析模块中,分析所有所述预测标签向量以及所有所述初始视频特征与所有所述真实标签的损失函数,并根据分析结果得到视频描述模型的过程包括:通过BERT模型分别对与各个所述待处理目标对象特征一一对应的目标对象正标签以及目标对象负标签、与各个所述目标动作特征一一对应的动作正标签以及动作负标签和与各个所述全局特征一一对应的字幕正标签以及字幕负标签进行编码,得到与各个所述待处理目标对象特征一一对应的目标对象正标签向量以及目标对象负标签向量、与各个所述目标动作特征一一对应的动作正标签向量以及动作负标签向量和与各个所述全局特征一一对应的字幕正标签向量以及字幕负标签向量;
通过第四式对所有所述目标对象正标签向量、所有所述目标对象负标签向量、所有所述动作正标签向量、所有所述动作负标签向量、所有所述字幕正标签向量、所有所述字幕负标签向量、所有所述待处理目标对象特征、所有所述目标动作特征、所有所述全局特征、所有所述预测标签向量以及所有所述目标单词独热编码进行计算,得到目标损失值,所述第四式为:L=Lo+La+Lg+Lp,
其中,
其中,L为目标损失值,Lo为目标对象损失值,La为动作损失值,Lg为全局损失值,Lp为预测标签损失值,αo为预设目标对象阈值,αa为预设动作阈值,αg为预设全局阈值,d为距离,O'i为第i个初始上下文特征对应的待处理目标对象特征,为第i个待处理目标对象特征对应的目标对象负标签向量,为第i个待处理目标对象特征对应的目标对象正标签向量,A'i为第i个初始上下文特征对应的目标动作特征,为第i个目标动作特征对应的动作负标签向量,为第i个目标动作特征对应的动作正标签向量,Gi为第i个初始上下文特征对应的全局特征,为第i个全局特征对应的字幕负标签向量,为第i个全局特征对应的字幕正标签向量,Pi为第i个初始上下文特征对应的预测标签向量,δ(wi)为第i个目标单词独热编码,L为初始上下文特征的总数;
根据所述目标损失值对所述训练模型进行参数更新,更新后返回至所述编码模块,直至达到预设迭代次数,将参数更新后的训练模型作为视频描述模型。
6.一种视频描述系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,当所述处理器执行所述计算机程序时,实现如权利要求1至4任一项所述的视频描述方法。
7.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,当所述计算机程序被处理器执行时,实现如权利要求1至4任一项所述的视频描述方法。