欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022105115720
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于视觉和语言的标注关联型短视频情感识别方法,其特征在于,包括:S1、预处理短视频样本的视频流,将其分割为若干图像帧和若干图像块,并调整图像帧和图像块的分辨率;

S2、采用卷积神经网络分别提取图像帧、图像块的视觉特征信息,组成短视频的时间维、空间维低层特征序列;

S3、将步骤S2中得到的两个特征序列分别输入多头自注意力神经网络,串联计算出的两个注意力特征向量得到高层情感视觉特征向量,输入全连接层网络后使用分类器计算出视觉模态的情感得分;

S4、联立步骤S2中的卷积神经网络,以及步骤S3中的多头自注意力神经网络和全连接层网络,构成短视频的视觉特征情感识别网络,根据步骤S3中视觉模态的情感得分计算损失函数数值并使用梯度下降法优化迭代网络参数,得到训练好的视觉网络模型;

S5、利用词向量工具将标注关联型短视频的文本内容处理成词向量,基于情感词典增强词向量的情感极性,得到情感极性增强的词向量序列;

S6、将步骤S5中得到的词向量序列输入多头自注意力神经网络提取出高层情感语义特征输入全连接层网络,使用分类器解码语义特征,计算出文本模态的情感得分;

S7、联立步骤S6中的多头自注意力神经网络和全连接层网络构成短视频的语言特征情感识别网络,根据步骤S6中的文本模态的情感得分计算损失函数数值,并使用梯度下降法优化迭代网络参数,得到训练好的语言网络模型;

S8、使用步骤S4和步骤S7中训练好的网络模型分别计算出短视频样本的视觉、语言情感得分,联立两者得到情感矩阵,根据不同模态、不同情感类别的权重占比设计加权系数矩阵,利用先验知识限制加权系数矩阵各参数的取值范围,设计求解步长遍历取值空间搜寻最优解,将情感矩阵和最优的加权系数矩阵相乘得到情感分类概率矩阵,根据概率矩阵中对角线上各元素的数值大小判断短视频的情感类别。

2.根据权利要求1所述的基于视觉和语言的标注关联型短视频情感识别方法,其特征在于,所述步骤S1具体包括:S1.1、分割短视频样本视频流,从第一帧开始等间隔选取其中F帧;

S1.2、调整步骤S1.1中图像帧的分辨率为N×N;

S1.3、将步骤S1.2中N×N的图像裁剪为规则的M

S1.4、把步骤S1.3中每个裁剪位置上的前后F个图像块组成一个图像块流,M

3.根据权利要求2所述的基于视觉和语言的标注关联型短视频情感识别方法,其特征在于,所述步骤S2中包括:S2.1、将步骤S1.2中的N×N图像帧输入CNN网络,提取短视频样本在时间维度上的低层视觉特征,F帧图像组成长度为F的特征序列;

S2.2、将步骤S1.4中的

4.根据权利要求3所述的基于视觉和语言的标注关联型短视频情感识别方法,其特征在于,所述步骤S3中包括:S3.1、在步骤S2.1中的特征序列中嵌入位置信息并加入类别标记,组成长度为F+1的特征序列后输入多头自注意力网络,计算得到时间特征序列的注意力特征向量;

S3.2、在步骤S2.2中的特征序列中嵌入位置信息并加入类别标记,组成长度为MS3.3、串联步骤S3.1和步骤S3.2中的注意力特征向量,得到短视频的高层情感视觉特征向量;

S3.4、将步骤S3.3中的高层情感视觉特征输入全连接层网络,使用Softmax分类器计算短视频的视觉情感得分:其中,K为情感类别数目,Score

5.根据权利要求1所述的基于视觉和语言的标注关联型短视频情感识别方法,其特征在于,所述步骤S5中包括:S5.1、使用词向量工具将短视频的文本内容转化为对应词向量序列;

S5.2、将步骤S5.1中得到的词向量乘以增强因子α的自然指数得到情感极性增强词向量式中,x为原词向量,pos(x)和neg(x)分别为对应单词在情感词典中的积极情感得分和消极情感得分,增强因子α由两者求平均得到。

6.根据权利要求1所述的基于视觉和语言的标注关联型短视频情感识别方法,其特征在于,所述步骤S8中包括:S8.1、联立步骤S4、步骤S7中网络模型计算出的视觉、语言情感得分得到标注关联型短视频的情感矩阵S:S8.2、根据视觉、文本模态不同情感类别的权重占比设计加权系数矩阵W:S8.3、利用先验知识限制加权系数矩阵中各参数的取值范围,以固定步长遍历取值空间搜寻最优的加权系数矩阵;

S8.4、将步骤S8.3中搜寻到的最优加权系数矩阵和步骤S8.1中的情感矩阵相乘,得到情感分类概率矩阵P:P

S8.5、比较步骤S8.4中概率矩阵P对角线上各元素的数值大小,把最大的元素值的下标识别为短视频的情感类别。

7.一种基于视觉和语言的标注关联型短视频情感识别系统,其特征在于,包括:视频流分割模块,用于将短视频的视频流分割成图像帧并等间隔选取固定数目的图像帧,调整所选图像帧的分辨率并裁剪成规则的图像块;

视觉特征提取模块,用于利用CNN网络和C3D网络提取所选图像帧和图像块的时间特征序列、空间特征序列,将两个特征序列分别输入多头自注意力神经网络运算得到时间维和空间维上的情感视觉特征,串联两者得到短视频的高层视觉情感特征;

视觉情感得分计算模块,用于将视觉特征提取模块运算得到的高层视觉情感特征输入全连接层网络中解码后,使用Softmax分类器计算出短视频视觉模态的情感得分;

词向量转化模块,用于使用词向量工具将短视频关联标注的文本内容转化为词向量,并根据单词在情感词典中的情感得分对词向量进行极性增强;

语义特征提取模块,用于将词向量转化模块获得的情感极性增强词向量输入多头自注意力神经网络,运算得到短视频的高层语义情感特征;

文本语言情感得分计算模块,用于将语义特征提取模块运算得到的高层语义情感特征输入全连接层网络中解码后,使用Softmax分类器计算出短视频文本模态的情感得分;

视觉和语言网络模型训练模块:用于分别训练视觉和语言网络模型,依据情感得分计算模块中计算得到的情感得分算出损失函数值并使用梯度下降法优化两个网络模型中的参数;

情感融合识别模块,用于融合短视频的视觉、语言情感识别结果,使用视觉和语言网络模型训练模块训练好的网络模型计算出视觉、语言情感得分组成情感矩阵,依据视觉、文本模态不同情感类别的权重占比设计加权系数矩阵,利用先验知识限制加权系数矩阵中各参数的取值范围,以固定步长遍历取值空间搜寻得到最优的加权系数矩阵,和情感矩阵相乘后得到短视频的情感分类概率矩阵,比较概率矩阵对角线上各元素的数值大小,识别判断短视频的情感类别。

8.一种基于视觉和语言的标注关联型短视频情感识别系统,其特征在于,包括至少一台计算机设备,所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1-6任一项所述的基于视觉和语言的标注关联型短视频情感识别方法。