欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021107797344
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种两阶段的anchor‑based动态视频摘要方法,其特征在于:所述方法包括如下步骤:

(1)构建anchor‑based神经网络,所述神经网络包括提取网络、自注意力机制网络、两阶段网络即区域推荐网络和回归分类网络;

(2)确定所述区域推荐网络和回归分类网络中anchor的种类和长度,完成正负样本的分类,对步骤(1)构建的anchor‑based神经网络进行训练,固定训练好的参数,得到两阶段的anchor‑based神经网络模型;

(3)用步骤(2)得到的神经网络模型进行动态视频摘要。

2.根据权利要求1所述两阶段的anchor‑based动态视频摘要方法,其特征在于:所述步骤(1)构建anchor‑based神经网络具体包括如下步骤:(1.1)将视频下采样至2fps,然后逐帧输入到特征提取网络,获取每帧图像1*1024维特征向量,用wi表示第i帧图像的1*1024维特征向量,所有帧图像的特征向量构成N*1024维特征矩阵,用W1表示:

W1=[w1,w2...wi...wN]其中,N代表帧的数量;

(1.2)将获得的N*1024维特征矩阵W1输入到自注意力机制网络,获得特征矩阵W1的注意力权值矩阵,用A表示:

A=[a1,a2...ai...aN]其中,ai表示所有特征向量关于第i帧特征向量的注意力向量ai=[ai1,ai2...aij...aiN];

(1.3)将注意力权值矩阵A与特征矩阵W1加权求和,从而获得注意力强化特征矩,用W2表示:

W2=[a1*W1,a2*W1...a1*W1...aN*W1];

(1.4)将注意力强化特征矩阵W2输入至两阶段网络中的区域推荐网络,从而获得所有区域的得分;

(1.5)对步骤(1.4)的输出,对所有区域进行筛选,将筛选后区域的位置映射到注意力强化特征矩阵上,提取该位置上的特征向量,构成候选区域特征矩阵,用W3表示;

(1.6)将候选区域特征矩阵W3输入到两阶段网络中的回归分类网络,从而分别获得更加精确的目标区域位置和目标区域得分。

3.根据权利要求2所述两阶段的anchor‑based动态视频摘要方法,其特征在于:所述步骤(1.4)包括如下步骤:

(1.4.1)通过LayerNorm归一化层,将步骤(1.3)的输出归一化;

(1.4.2)选取kernel_size=3的1D卷积核对上一层N*1024维特征矩阵进行卷积运算,输出通道数为1024,然后经过归一化层和非线性激活函数层,输出N*1024维矩阵,实现特征提取;

(1.4.3)选取kernel_size=3的1D卷积核对上一层的N*1024维特征矩阵进行卷积运算,输出通道数为1,输出N*1维矩阵,矩阵值为各个区域的得分;

4.根据权利要求2所述两阶段的anchor‑based动态视频摘要方法,其特征在于:所述步骤(1.5)包括如下步骤:

(1.5.1)使用非极大值抑制算法去除高重叠率的区域;

(1.5.2)将其值按从大到小的顺序进行排列,从中筛选出前M个的候选区域,并将这些候选区域位置映射到特征矩阵W2上;

(1.5.3)提取对应位置上的特征向量,重新组合为M*L*1024维的候选区域特征矩阵,将其作为分类回归网络的输入,其中,L表示区域推荐网络中所采用anchor的长度。

5.根据权利要求2所述两阶段的anchor‑based动态视频摘要方法,其特征在于:所述步骤(1.6)包括如下步骤:

(1.6.1)通过全连接层,将步骤(1.5)的输出全连接至本层的128个输出神经元,输出M*L*128维的特征矩阵,然后再经过激活层、归一化层,从而实现特征的融合;

(1.6.2)通过全连接层,将步骤(1.6.1)的输出全连接至本层的4个输出神经元,输出M*

4维的矩阵,用来判断候选区域的最终分类,其值代表的是每一个anchor所表示的区域的最终得分;

(1.6.3)通过全连接层,将步骤(1.6.1)的输出全连接至本层的8个输出神经元,输出M*

8维的矩阵,然后对其进行重构,得到M*4*2维矩阵,用来判断候选区域的最终位置。

6.根据权利要求1所述两阶段的anchor‑based动态视频摘要方法,其特征在于:所述步骤(2)神经网络模型构建包括如下步骤:(2.1)分析训练集中标签片段的长度,通过K‑means算法得出anchor的长度,用[L1,L2,L3,L4]分别表示这四种anchor的长度,其中,L1至L4依次递增;

(2.2)将步骤(2.1)结果的最大值L4确定为此网络anchor的长度,保证此网络anchor的长度大于数据集中大多数标签片段的长度;

(2.3)对于从视频中抽取的N帧,依次以每一帧为中心,以L4为长度,进行片段的截取,共产生N个片段,用S1表示这N个片段:S1={s1,s2...si...sN}其中,si表示截取产生的以第i帧为中心、L4为长度的片段,然后计算这些片段与标签片段的交集IOU的大小,若片段的IOU>=α,则将其标记为正样本,若片段的IOU<α,则将其标记为负样本,保证正负样本的数量比例为3∶1;

(2.4)回归分类网络采用的是多尺度的anchor机制,anchor的种类为4,长度分别为[L1,L2,L3,L4];

(2.5)对于从视频中抽取的N帧,依次以每一帧为中心,分别以L1,L2,L3,L4为长度,进行片段的截取,共产生4*N个片段,用S2表示这4*N个片段:S2={s11,s12...sij...sN4}其中,sij表示截取产生的以第i帧为中心,Lj为长度的片段,0<i<N+1,0<j<5,然后计算这些片段与标签片段的交集IOU的大小,若片段的IOU>=β,则将其标记为正样本,若片段的IOU<β,则将其标记为负样本,保证正负样本的数量比例为3∶1;

(2.6)利用步骤(2.1)至步骤(2.5)得到的正负样本,对步骤(1)构建的网络进行训练,固定训练好的参数,得到两阶段的anchor‑based神经网络模型。