欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019110451541
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-29
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于层次注意力机制的双向重构网络视频描述方法,其特征在于,该方法首先获取视频数据集合,然后进行如下操作:步骤(1).利用卷积神经网络作为编码器提取视频帧的多尺度区域特征,利用层次注意力机制处理视频特征得到视频特征动态表示;具体方法是:(1‑1).假设给定的视频 含有n帧,其中Xi为第i帧图像,w,h,c分别表示视频帧的宽度、高度、通道数; 为视频 对应的描述语句,L为描述语句的长度,单词Yl采取独热编码,V为词汇表单词的个数;

(1‑2).利用深度卷积神经网络GoogLeNet的卷积模块inception_4e和inception_5b分别提取视频第i帧的多尺度区域特征集合;

所述的多尺度是将视频帧划分为14×14个浅层区域集合和7×7个深层区域集合,区域特征即为每个区域通过所述卷积模块提取的特征;

浅层区域特征集合表示为:

深层区域特征集合表示为:

(1‑3).层次注意力机制包括区域注意力机制和帧级注意力机制;

所述的区域注意力机制包括浅层区域注意力机制和深层区域注意力机制,是指视频描述模型能够自适应地赋予不同视频帧区域特征不同权重的机制;

所述的帧级注意力机制是指视频描述模型自适应地赋予不同视频帧特征不同权重的机制;

步骤(2).利用长短时记忆神经网络作为解码器,输入为视频特征动态表示及其文本描述,通过最小化交叉熵损失函数得到词汇表单词的概率分布并据此获得生成语句;

步骤(3).建立双向重构网络,输入为解码器的隐藏向量,输出为重构的视频特征;

步骤(4).利用随机梯度下降法优化上述网络模型,对新视频依次通过步骤(1)~(2)得到视频描述语句。

2.如权利要求1所述的一种基于层次注意力机制的双向重构网络视频描述方法,其特征在于,步骤(2)具体方法是:

(2‑1).利用一层LSTM构建解码器,解码器第t个LSTM单元的输入分别为输入视频特征videot、第t‑1个单词Yt‑1以及解码器第t‑1个LSTM单元的隐藏向量 解码器输出为隐藏向量 其中 为单词嵌入矩阵,e表示单词嵌入维度大小,lstm(·)表示长短时记忆神经网络LSTM;

(2‑2).利用全连接层及softmax函数得到词汇表所有单词的概率分布,概率最高的单词为当前时间步预测单词,概率分布为其中 为 全 连接 层 参 数 , 是维 度转 换 矩阵 ,softmax(·)为逻辑回归函数;

(2‑3).根据(1‑3)、(2‑1)、(2‑2)得到下一时间步预测单词,不断循环执行,直至产生语句结束符或达到最大语句长度为止;

(2‑4).生成整个描述语句的交叉熵损失 表示为:其中,Y0是句子 的开始标志符,YL+1是句子 的结束标志符。

3.如权利要求2所述的一种基于层次注意力机制的双向重构网络视频描述方法,其特征在于,步骤(3)具体方法是:

(3‑1).双向重构网络为一层Bi‑LSTM,Bi‑LSTM能够利用视频序列的前向和反向信息重构视频帧特征,Bi‑LSTM为双向长短时记忆神经网络;

(3‑2).根据解码器隐藏层的注意力机制得到双向重构网络第t个Bi‑LSTM单元的输入,即 其中, 为解码器第i个LSTM单元的隐藏向量,μti∈(0,1)为 的权重大小,反映了 与重构网络第t‑1个Bi‑LSTM单元隐藏向量的相关性;

(3‑3).通过双向重构网络得到视频第t帧的特征重构表示,即 其中, 为重构网络第t个Bi‑LSTM单元的隐藏向量,r表示重构,bi_lstm(·)表示双向长短时记忆神经网络,双向重构网络的重构损失函数为 其中,||·||2表示向量的L2范数,n表示视频帧数。

4.如权利要求3所述的一种基于层次注意力机制的双向重构网络视频描述方法,其特征在于,步骤(4)具体方法是:

(4‑1).通过最小化由(2‑4)描述语句的交叉熵损失 和(3‑3)双向重构网络的重构损失 组成的总体损失 λ为权衡系数,取值为0.1;利用随机梯度下降法优化编码器、解码器、双向重构网络,得到视频描述模型;

(4‑2).输入新视频 依次经过步骤(1)~(2)得到视频的描述语句

5.如权利要求1所述的一种基于层次注意力机制的双向重构网络视频描述方法,其特征在于,所述的帧级注意力机制具体是:①通过视频第i帧多尺度区域特征集合加权求和分别得到视频帧浅层特征和深层特征 其中,

αij∈(0,1)为第i帧第j个浅层区域特征的注意力大小,βij∈(0,1)为第i帧第j个深层区域特征的注意力大小;第i帧特征 为视频帧浅层特征和深层特征的拼接向量;浅层特征用于捕获视频帧的空间特征,深层特征用于捕获视频帧抽象语义特征,两层特征互补形成视频帧特征;

②对视频帧特征加权求和得到解码器第t个LSTM单元的输入视频特征,即其中 f_d=1856为视频特征维度, 为解码器第t个LSTM单元第i个视频帧特征的注意力大小,反映了视频第i帧与解码器第t‑1个LSTM单元隐藏向量 的相关性,其中k为隐藏向量维度,d表示解码器。