欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021114201241
申请人: 兰州理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种多模态融合结合多层注意力的视频内容描述方法,其特征在于,包括步骤S1:视频多模态数据抽取,利用FFmpeg将数据集中视频的每一帧转换为单张JPEG图像;将视频中提取出来的音频信息存储为wav格式的音频文件;

S2:特征提取与预处理,使用ResNet-152网络并结合通道注意力机制提取转换得到的单张JPEG图像的单模态静态特征;利用双流膨胀3D卷积网络I3D提取转换得到的多张JPEG图像的单模态运动时序特征;根据Mel频率倒谱系数MFCC提取音频文件所携带的音频信号,得到单模态MFCC特征;

S3:特征嵌入,将所述单模态静态特征、单模态运动时序特征和单模态MFCC特征嵌入到利用self-attention机制设计的嵌入层神经网络中,进行单模态特征参数的学习,包括步骤:S31:将视频的单帧模态静态特征、单模态运动时序特征和音频模态MFCC特征进行归一化处理后,利用长短期记忆网络进行上下文特征处理;

S32:将单模态特征利用自注意力机制,计算如公式(7)所示,

其中,Q、K、V分别是查询向量矩阵、键向量矩阵和值向量矩阵,

S33:将经过自注意力机制提取的单帧模态静态特征、单模态运动时序特征和音频模态MFCC特征送入长短期记忆网络进行降维处理;

S4:特征融合,利用协作表示结构对上一步经过嵌入层结构的单模态静态特征、单模态运动时序特征和单模态MFCC特征进行多模态特征融合,得到融合特征;

S5:特征编码,利用两层LSTM对所述融合特征进行编码;

S6:特征解码,利用多层LSTM网络对编码后的特征向量进行解码,生成视频对应的描述,包括步骤:通过计算每个视频对应的20组预测概率值,并取出每一组概率值中最大值所对应的词,生成最终描述文本。

2.如权利要求1所述的多模态融合结合多层注意力的视频内容描述方法,其特征在于,步骤S2所述的特征提取与预处理包括步骤S21:将ResNet-152网络提取的单帧卷积特征利用通道注意力SE模块的Squeeze操作,顺着空间维度对特征图U进行压缩,形成一个具有全局感受野的实数,计算如公式(1)所示,其中,代表压缩后的结果,代表高度,代表宽度;

S22:利用两个全连接FC结构构造的Excitation模块对Squeeze操作中聚集的信息捕获通道依赖,降低模型复杂度并提升模型的泛化能力,其中,第一个FC层起降维作用,将C个通道压缩成了个通道,降维系数r是个超参数;第二个FC层用于恢复特征图原始维度,最终得到一个权重系数S,计算如公式(2)所示,其中,函数代表整个Excitation操作,表示sigmoid函数,表示Relu 函数,,;

S23:将权重系数S进行Reweight操作,逐通道的加权到特征图U上,完成在特征图通道维度上对原始特征的重标定,得到最终注意力特征,计算如公式(3)所示,其中,表示注意力权重和特征图之间的通道式乘法;

S24:将数据集中每条视频所提取到的帧预处理成224*224的固定帧,送入到经ImageNet和Kinetics预训练的I3D模型中,提取单模态运动时序特征;

S25:对所述音频文件中的音频信号进行预加重、分帧和加窗预处理操作,并对分帧后的单帧信号进行离散傅里叶变换,得到频域数据,如公式(4)所示,其中,为输入的语音信号,表示傅里叶变换的点数;S26:将频域数据通过w个Mel频率滤波器进行滤波,提取频谱、Mel滤波器组和频率包络,滤波器的频域响应如公式(5)所示,其中,:;表示滤波器中心频率;S27:每个滤波器组输出的对数能量计算如公式(6)示,其中,为对数能量,为三角滤波器的频率响应;

S28:利用离散余弦变换(Discrete Cosine Transform, DCT)计算对数能量的MFCC系数,计算如公式(6)所示,其中,w指第w个Mel滤波器,指第帧,n为DCT之后得到的谱线,提取音频模态MFCC特征。