1.一种多模态融合结合多层注意力的视频内容描述方法,其特征在于,包括步骤S1:视频多模态数据抽取,利用FFmpeg将数据集中视频的每一帧转换为单张JPEG图像;将视频中提取出来的音频信息存储为wav格式的音频文件;
S2:特征提取与预处理,使用ResNet-152网络并结合通道注意力机制提取转换得到的单张JPEG图像的单模态静态特征;利用双流膨胀3D卷积网络I3D提取转换得到的多张JPEG图像的单模态运动时序特征;根据Mel频率倒谱系数MFCC提取音频文件所携带的音频信号,得到单模态MFCC特征;
S3:特征嵌入,将所述单模态静态特征、单模态运动时序特征和单模态MFCC特征嵌入到利用self-attention机制设计的嵌入层神经网络中,进行单模态特征参数的学习,包括步骤:S31:将视频的单帧模态静态特征、单模态运动时序特征和音频模态MFCC特征进行归一化处理后,利用长短期记忆网络进行上下文特征处理;
S32:将单模态特征利用自注意力机制,计算如公式(7)所示,
其中,Q、K、V分别是查询向量矩阵、键向量矩阵和值向量矩阵,
S33:将经过自注意力机制提取的单帧模态静态特征、单模态运动时序特征和音频模态MFCC特征送入长短期记忆网络进行降维处理;
S4:特征融合,利用协作表示结构对上一步经过嵌入层结构的单模态静态特征、单模态运动时序特征和单模态MFCC特征进行多模态特征融合,得到融合特征;
S5:特征编码,利用两层LSTM对所述融合特征进行编码;
S6:特征解码,利用多层LSTM网络对编码后的特征向量进行解码,生成视频对应的描述,包括步骤:通过计算每个视频对应的20组预测概率值,并取出每一组概率值中最大值所对应的词,生成最终描述文本。
2.如权利要求1所述的多模态融合结合多层注意力的视频内容描述方法,其特征在于,步骤S2所述的特征提取与预处理包括步骤S21:将ResNet-152网络提取的单帧卷积特征利用通道注意力SE模块的Squeeze操作,顺着空间维度对特征图U进行压缩,形成一个具有全局感受野的实数,计算如公式(1)所示,其中,代表压缩后的结果,代表高度,代表宽度;
S22:利用两个全连接FC结构构造的Excitation模块对Squeeze操作中聚集的信息捕获通道依赖,降低模型复杂度并提升模型的泛化能力,其中,第一个FC层起降维作用,将C个通道压缩成了个通道,降维系数r是个超参数;第二个FC层用于恢复特征图原始维度,最终得到一个权重系数S,计算如公式(2)所示,其中,函数代表整个Excitation操作,表示sigmoid函数,表示Relu 函数,,;
S23:将权重系数S进行Reweight操作,逐通道的加权到特征图U上,完成在特征图通道维度上对原始特征的重标定,得到最终注意力特征,计算如公式(3)所示,其中,表示注意力权重和特征图之间的通道式乘法;
S24:将数据集中每条视频所提取到的帧预处理成224*224的固定帧,送入到经ImageNet和Kinetics预训练的I3D模型中,提取单模态运动时序特征;
S25:对所述音频文件中的音频信号进行预加重、分帧和加窗预处理操作,并对分帧后的单帧信号进行离散傅里叶变换,得到频域数据,如公式(4)所示,其中,为输入的语音信号,表示傅里叶变换的点数;S26:将频域数据通过w个Mel频率滤波器进行滤波,提取频谱、Mel滤波器组和频率包络,滤波器的频域响应如公式(5)所示,其中,:;表示滤波器中心频率;S27:每个滤波器组输出的对数能量计算如公式(6)示,其中,为对数能量,为三角滤波器的频率响应;
S28:利用离散余弦变换(Discrete Cosine Transform, DCT)计算对数能量的MFCC系数,计算如公式(6)所示,其中,w指第w个Mel滤波器,指第帧,n为DCT之后得到的谱线,提取音频模态MFCC特征。