1.一种基于多特征融合的视频描述方法,其特征在于:
1)视频时空特征提取
通过融合传统的CNN特征和SIFT流特征提取视频的深层时空特征;
2)句子描述的生成
根据步骤1)提取到的深层时空特征,采用加入了以平均池化特征作为视频整体特征的S2VT句子生成模型生成相应的句子描述;
3)句子生成模型的优化
采用word2vec词向量替换one-hot vector词表征优化步骤2)中的句子生成模型。
2.根据权利要求1所述的基于多特征融合的视频描述方法,其特征在于步骤1)视频时空特征提取包括如下三个步骤:(1)提取视频的空间特征
利用已有的VGG-16网络模型提取原始视频帧的fc7层特征;
(2)提取视频的时间特征
利用微调的VGG-16网络模型提取视频的SIFT流场图的fc7层特征;
(3)特征融合
分别对两个特征采用主成份分析方法降维并采用连接的方式得到4096维的特征向量作为视频的特征表达,作为句子生成模型的输入。
3.根据权利要求2所述的基于多特征融合的视频描述方法,其特征在于所述步骤1)视频时空特征提取的详细步骤如下:(1)提取视频的空间特征
采用在ImageNet数据集上预训练的VGG-16网络模型,将测试数据集MSVD中的视频每隔
10帧取一帧,送入到VGG-16网络模型中,提取fc7层的4096维输出作为当前帧的特征向量;
(2)提取视频的时间特征
首先在行为识别数据集UCF-101上,对样本视频每十帧取第一帧和第三帧,并根据这两帧计算得到一幅SIFT流场图,并为它们打上与视频类别相同的标签;接着将所有带有标签的SIFT流场图按照2:1的比例划分为训练集和验证集,并送入到在ImageNet数据集上预训练过的VGG-16网络模型中对网络进行微调;然后在测试数据集MSVD上提取出SIFT流场图,送入到微调好的VGG-16网络模型中,提取fc7层的4096维输出作为当前帧的特征向量;
所述的SIFT流场图是指采用SIFT流方法计算相邻帧之间的SIFT流场后再将其可视化而成的图像;
(3)特征融合
将提取到的两个4096维特征向量分别采用离差标准化Min-Max Normalization方法进行归一化,然后将归一化后的特征向量分别采用主成份分析方法降维,得到两个2048为特征向量,最后采用向量连接的方法,得到最终的4096维特征向量作为句子生成模型的输入。
4.根据权利要求1或2或3所述的基于多特征融合的视频描述方法,其特征在于所述步骤2)句子描述生成中所述视频整体特征的加入是指在S2VT句子生成模型的编码阶段,当完成对视频帧的读取之后输入视频的平均池化特征,而所述平均池化特征的提取过程如下:首先利用VGG-16网络模型提取出所有原始视频帧,也即RGB图像的fc7层特征,然后对所有视频帧的特征采用平均池化方法,按照如下公式:其中vi表示提取的视频V视频帧,n表示视频V提取视频帧的数量,最终得到视频的一个平均池化特征;
与此同时,句子生成模型的解码阶段也开始工作,每次生成单词都会有视觉信息输入进来,即提取的平均池化特征,直到输出结束标记
5.根据权利要求1或2或3所述的基于多特征融合的视频描述方法,其特征在于所述步骤3)句子生成模型的优化的详细过程如下:首先将英文wiki语料库中XML格式的文件转成TXT文件,然后通过对TXT文件进行训练处理得到语料集中所有单词的词向量表示,在得到了文本的词向量之后,将原来网络模型中的one-hot vector表示的单词向量表示替换成word2vec词向量。