欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2017102813058
申请人: 苏州大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多特征融合的视频描述方法,其特征在于:

1)视频时空特征提取

通过融合传统的CNN特征和SIFT流特征提取视频的深层时空特征;

2)句子描述的生成

根据步骤1)提取到的深层时空特征,采用加入了以平均池化特征作为视频整体特征的S2VT句子生成模型生成相应的句子描述;

3)句子生成模型的优化

采用word2vec词向量替换one-hot vector词表征优化步骤2)中的句子生成模型。

2.根据权利要求1所述的基于多特征融合的视频描述方法,其特征在于步骤1)视频时空特征提取包括如下三个步骤:(1)提取视频的空间特征

利用已有的VGG-16网络模型提取原始视频帧的fc7层特征;

(2)提取视频的时间特征

利用微调的VGG-16网络模型提取视频的SIFT流场图的fc7层特征;

(3)特征融合

分别对两个特征采用主成份分析方法降维并采用连接的方式得到4096维的特征向量作为视频的特征表达,作为句子生成模型的输入。

3.根据权利要求2所述的基于多特征融合的视频描述方法,其特征在于所述步骤1)视频时空特征提取的详细步骤如下:(1)提取视频的空间特征

采用在ImageNet数据集上预训练的VGG-16网络模型,将测试数据集MSVD中的视频每隔

10帧取一帧,送入到VGG-16网络模型中,提取fc7层的4096维输出作为当前帧的特征向量;

(2)提取视频的时间特征

首先在行为识别数据集UCF-101上,对样本视频每十帧取第一帧和第三帧,并根据这两帧计算得到一幅SIFT流场图,并为它们打上与视频类别相同的标签;接着将所有带有标签的SIFT流场图按照2:1的比例划分为训练集和验证集,并送入到在ImageNet数据集上预训练过的VGG-16网络模型中对网络进行微调;然后在测试数据集MSVD上提取出SIFT流场图,送入到微调好的VGG-16网络模型中,提取fc7层的4096维输出作为当前帧的特征向量;

所述的SIFT流场图是指采用SIFT流方法计算相邻帧之间的SIFT流场后再将其可视化而成的图像;

(3)特征融合

将提取到的两个4096维特征向量分别采用离差标准化Min-Max Normalization方法进行归一化,然后将归一化后的特征向量分别采用主成份分析方法降维,得到两个2048为特征向量,最后采用向量连接的方法,得到最终的4096维特征向量作为句子生成模型的输入。

4.根据权利要求1或2或3所述的基于多特征融合的视频描述方法,其特征在于所述步骤2)句子描述生成中所述视频整体特征的加入是指在S2VT句子生成模型的编码阶段,当完成对视频帧的读取之后输入视频的平均池化特征,而所述平均池化特征的提取过程如下:首先利用VGG-16网络模型提取出所有原始视频帧,也即RGB图像的fc7层特征,然后对所有视频帧的特征采用平均池化方法,按照如下公式:其中vi表示提取的视频V视频帧,n表示视频V提取视频帧的数量,最终得到视频的一个平均池化特征;

与此同时,句子生成模型的解码阶段也开始工作,每次生成单词都会有视觉信息输入进来,即提取的平均池化特征,直到输出结束标记表示句子生成结束,生成的单词是由softmax函数确定的,按照如下公式:每个时刻t都会计算出词汇表V中每个单词在第二层输出zt条件下的概率分布,其中y表示词汇表中的单词,在测试阶段,选择概率最大的单词y作为时刻t的单词输出。

5.根据权利要求1或2或3所述的基于多特征融合的视频描述方法,其特征在于所述步骤3)句子生成模型的优化的详细过程如下:首先将英文wiki语料库中XML格式的文件转成TXT文件,然后通过对TXT文件进行训练处理得到语料集中所有单词的词向量表示,在得到了文本的词向量之后,将原来网络模型中的one-hot vector表示的单词向量表示替换成word2vec词向量。