1.一种基于自注意力模型的短视频场景分类方法,其特征在于,包括:确定待处理视频的镜头边界,进行镜头分割,得到若干个分割镜头;
基于若干个分割镜头,先提取关键帧,再提取每个关键帧的场景特征;
在提取每个镜头视频关键帧的特征后,使用去噪自编码器对视频中每个关键帧的场景特征进行编码和解码,编码模块采用两层全连接和LeakyRelu激活函数,解码模块是编码模块的反向操作,编解码器模型计算:其中, 表示每个镜头中的关键帧, l是框架的索引, ,其中 q为一个镜头的关键帧数,d 为帧的尺寸, 和 为编码器的权值, 和 是解码器的权重,为LeakyRelu激活函数; , ;
对每个关键帧的场景特征进行去噪处理,得到去噪后的帧特征;
基于同一镜头下的去噪后的帧特征,采用帧级通道注意力处理,得到帧权值,同一镜头中的所有帧经过去噪自编码器后,输入到通道注意力中,学习帧的重要性,将权重与去噪自编码器生成的视频帧的特征相乘,得到每帧按重要性加权的特征表示;
帧的学习权重:
通道注意力的计算:
式中, 是Softmax,d1为模型去噪后原始帧特征的维数;
基于若干个特征表示,采用自注意力模型关联同一视频的不同镜头,学习多个镜头与短视频场景的语义表征之间的关联,得到分类结果;对于多头自注意力,需要从原始特征中获取Query (Q)、Key(K)和Value(V);
式中, , 和 是 的映射矩阵;
多头自注意力计算如下:
其中, 是第i个样本的多头自注意力的特征表示, 是连接操作, 表示自注意力机制中的查询矩阵, 表示键矩阵, 表示 的转置, 表示数值矩阵,三个矩阵都是输入X经过三次不同的线性转换得到的投影矩阵,上标j是样本的索引,h是head的索引,表示第h个头, 表示缩放系数。
2.根据权利要求1所述的基于自注意力模型的短视频场景分类方法,其特征在于,所述确定待处理视频的镜头边界的过程采用TransNetV2方法,所述采用TransNetV2方法的过程包括:每个镜头对应一个DDCNN单元、跳跃连接和帧相似度计算。
3.根据权利要求1所述的基于自注意力模型的短视频场景分类方法,其特征在于,采用VGG16_places365网络提取每个关键帧的场景特征。
4.根据权利要求1所述的基于自注意力模型的短视频场景分类方法,其特征在于,所述去噪处理的过程包括:采用编码器对每个关键帧的场景特征进行编码处理后,经解码器进行解码处理,得到去噪后的帧特征。
5.根据权利要求1所述的基于自注意力模型的短视频场景分类方法,其特征在于,在对待处理视频进行分类之前,包括:将重构损失和帧级分类损失和镜头级分类损失的加权和作为目标函数,采用随机梯度下降算法对目标函数进行优化。
6.根据权利要求5所述的基于自注意力模型的短视频场景分类方法,其特征在于,所述重构损失为:所述帧级分类损失为:
所述镜头级分类损失为
其中, 表示镜头关键帧和预测结果的均方误差, 表示模型预测结果和标签的交叉熵,视频用 表示,其中 ,m是
每个视频包含的镜头数,并且 ,f 是每个镜头的尺寸,每个镜头中的关键帧用表示,l是框架的索引, ,q为一个镜头的关键帧数,d为帧的尺寸,, 。
7.一种基于自注意力模型的短视频场景分类系统,其特征在于,包括:镜头分割模块,其被配置为:确定待处理视频的镜头边界,进行镜头分割,得到若干个分割镜头;
帧提取模块,其被配置为:基于若干个分割镜头,先提取关键帧,再提取每个关键帧的场景特征;
特征提取模块,其被配置为:对每个关键帧的场景特征进行去噪处理,得到去噪后的帧特征;在提取每个镜头视频关键帧的特征后,使用去噪自编码器对视频中每个关键帧的场景特征进行编码和解码,编码模块采用两层全连接和LeakyRelu激活函数,解码模块是编码模块的反向操作,编解码器模型计算:其中, 表示每个镜头中的关键帧, l是框架的索引, ,其中 q为一个镜头的关键帧数,d 为帧的尺寸, 和 为编码器的权值, 和 是解码器的权重,为LeakyRelu激活函数; , ;
去噪和加权模块,其被配置为:基于同一镜头下的去噪后的帧特征,采用帧级通道注意力处理,同一镜头中的所有帧经过去噪自编码器后,输入到通道注意力中,学习帧的重要性,将权重与去噪自编码器生成的视频帧的特征相乘,得到每帧按重要性加权的特征表示;
帧的学习权重:
通道注意力的计算:
式中, 是Softmax,d1为模型去噪后原始帧特征的维数;
分类模块,其被配置为:基于若干个特征表示,采用自注意力模型关联同一视频的不同镜头,学习多个镜头与短视频场景的语义表征之间的关联,得到分类结果;对于多头自注意力,需要从原始特征中获取Query (Q)、Key(K)和Value(V);
式中, , 和 是 的映射矩阵;
多头自注意力计算如下:
其中, 是第i个样本的多头自注意力的特征表示, 是连接操作, 表示自注意力机制中的查询矩阵, 表示键矩阵, 表示 的转置, 表示数值矩阵,三个矩阵都是输入X经过三次不同的线性转换得到的投影矩阵,上标j是样本的索引,h是head的索引,表示第h个头, 表示缩放系数。
8.根据权利要求7基于自注意力模型的短视频场景分类系统,其特征在于,在对待处理视频进行分类之前,包括:将重构损失和帧级分类损失和镜头级分类损失的加权和作为目标函数,采用随机梯度下降算法对目标函数进行优化;
所述重构损失为:
所述帧级分类损失为:
所述镜头级分类损失为
其中, 表示镜头关键帧和预测结果的均方误差, 表示模型预测结果和标签的交叉熵,视频用 表示,其中 ,m是
每个视频包含的镜头数,并且 ,f 是每个镜头的尺寸,每个镜头中的关键帧用表示,l是框架的索引, ,q为一个镜头的关键帧数,d为帧的尺寸,, 。