1.一种两阶段的anchor‑based动态视频摘要方法,其特征在于:所述方法包括如下步骤:
(1)构建anchor‑based神经网络,所述神经网络包括提取网络、自注意力机制网络、两阶段网络即区域推荐网络和回归分类网络;
(2)确定所述区域推荐网络和回归分类网络中anchor的种类和长度,完成正负样本的分类,对步骤(1)构建的anchor‑based神经网络进行训练,固定训练好的参数,得到两阶段的anchor‑based神经网络模型;
(3)用步骤(2)得到的神经网络模型进行动态视频摘要。
2.根据权利要求1所述两阶段的anchor‑based动态视频摘要方法,其特征在于:所述步骤(1)构建anchor‑based神经网络具体包括如下步骤:(1.1)将视频下采样至2fps,然后逐帧输入到特征提取网络,获取每帧图像1*1024维特征向量,用wi表示第i帧图像的1*1024维特征向量,所有帧图像的特征向量构成N*1024维特征矩阵,用W1表示:
W1=[w1,w2...wi...wN]其中,N代表帧的数量;
(1.2)将获得的N*1024维特征矩阵W1输入到自注意力机制网络,获得特征矩阵W1的注意力权值矩阵,用A表示:
A=[a1,a2...ai...aN]其中,ai表示所有特征向量关于第i帧特征向量的注意力向量ai=[ai1,ai2...aij...aiN];
(1.3)将注意力权值矩阵A与特征矩阵W1加权求和,从而获得注意力强化特征矩,用W2表示:
W2=[a1*W1,a2*W1...a1*W1...aN*W1];
(1.4)将注意力强化特征矩阵W2输入至两阶段网络中的区域推荐网络,从而获得所有区域的得分;
(1.5)对步骤(1.4)的输出,对所有区域进行筛选,将筛选后区域的位置映射到注意力强化特征矩阵上,提取该位置上的特征向量,构成候选区域特征矩阵,用W3表示;
(1.6)将候选区域特征矩阵W3输入到两阶段网络中的回归分类网络,从而分别获得更加精确的目标区域位置和目标区域得分。
3.根据权利要求2所述两阶段的anchor‑based动态视频摘要方法,其特征在于:所述步骤(1.4)包括如下步骤:
(1.4.1)通过LayerNorm归一化层,将步骤(1.3)的输出归一化;
(1.4.2)选取kernel_size=3的1D卷积核对上一层N*1024维特征矩阵进行卷积运算,输出通道数为1024,然后经过归一化层和非线性激活函数层,输出N*1024维矩阵,实现特征提取;
(1.4.3)选取kernel_size=3的1D卷积核对上一层的N*1024维特征矩阵进行卷积运算,输出通道数为1,输出N*1维矩阵,矩阵值为各个区域的得分;
4.根据权利要求2所述两阶段的anchor‑based动态视频摘要方法,其特征在于:所述步骤(1.5)包括如下步骤:
(1.5.1)使用非极大值抑制算法去除高重叠率的区域;
(1.5.2)将其值按从大到小的顺序进行排列,从中筛选出前M个的候选区域,并将这些候选区域位置映射到特征矩阵W2上;
(1.5.3)提取对应位置上的特征向量,重新组合为M*L*1024维的候选区域特征矩阵,将其作为分类回归网络的输入,其中,L表示区域推荐网络中所采用anchor的长度。
5.根据权利要求2所述两阶段的anchor‑based动态视频摘要方法,其特征在于:所述步骤(1.6)包括如下步骤:
(1.6.1)通过全连接层,将步骤(1.5)的输出全连接至本层的128个输出神经元,输出M*L*128维的特征矩阵,然后再经过激活层、归一化层,从而实现特征的融合;
(1.6.2)通过全连接层,将步骤(1.6.1)的输出全连接至本层的4个输出神经元,输出M*
4维的矩阵,用来判断候选区域的最终分类,其值代表的是每一个anchor所表示的区域的最终得分;
(1.6.3)通过全连接层,将步骤(1.6.1)的输出全连接至本层的8个输出神经元,输出M*
8维的矩阵,然后对其进行重构,得到M*4*2维矩阵,用来判断候选区域的最终位置。
6.根据权利要求1所述两阶段的anchor‑based动态视频摘要方法,其特征在于:所述步骤(2)神经网络模型构建包括如下步骤:(2.1)分析训练集中标签片段的长度,通过K‑means算法得出anchor的长度,用[L1,L2,L3,L4]分别表示这四种anchor的长度,其中,L1至L4依次递增;
(2.2)将步骤(2.1)结果的最大值L4确定为此网络anchor的长度,保证此网络anchor的长度大于数据集中大多数标签片段的长度;
(2.3)对于从视频中抽取的N帧,依次以每一帧为中心,以L4为长度,进行片段的截取,共产生N个片段,用S1表示这N个片段:S1={s1,s2...si...sN}其中,si表示截取产生的以第i帧为中心、L4为长度的片段,然后计算这些片段与标签片段的交集IOU的大小,若片段的IOU>=α,则将其标记为正样本,若片段的IOU<α,则将其标记为负样本,保证正负样本的数量比例为3∶1;
(2.4)回归分类网络采用的是多尺度的anchor机制,anchor的种类为4,长度分别为[L1,L2,L3,L4];
(2.5)对于从视频中抽取的N帧,依次以每一帧为中心,分别以L1,L2,L3,L4为长度,进行片段的截取,共产生4*N个片段,用S2表示这4*N个片段:S2={s11,s12...sij...sN4}其中,sij表示截取产生的以第i帧为中心,Lj为长度的片段,0<i<N+1,0<j<5,然后计算这些片段与标签片段的交集IOU的大小,若片段的IOU>=β,则将其标记为正样本,若片段的IOU<β,则将其标记为负样本,保证正负样本的数量比例为3∶1;
(2.6)利用步骤(2.1)至步骤(2.5)得到的正负样本,对步骤(1)构建的网络进行训练,固定训练好的参数,得到两阶段的anchor‑based神经网络模型。