欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2018106868228
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种融合文本信息的GIF短视频情感识别方法,其特征在于,包括如下步骤:

(1)将带有注释文本的GIF短视频按照设定帧率分割为若干候选帧图像;

(2)利用3D卷积神经网络C3D提取由设定长度的候选帧图像组成的视频片段的序列特征,同时利用卷积神经网络CNN按顺序提取相应视频片段中帧图像的图像特征,将序列特征与图像特征串联融合;

(3)将步骤(2)融合后的视频片段特征输入到卷积长短时记忆神经网络中进行解码,并使用softmax分类器获得GIF短视频所属情感类别的概率矩阵,将其从分类概率区间映射到情感分值区间后,作为视频部分的情感得分;

(4)将与GIF短视频内容相关联的注释文本进行分词处理、词形还原,根据构建的同义词森林筛选出情感词组标签,并输入到情感打分工具中获得注释文本的情感得分;

(5)将步骤(3)与步骤(4)的视频情感得分Sv与文本情感得分St赋予不同的情感权重后相加,采用自适应阈值法对分值进行有效性判断后作为描述GIF短视频的情感丰富程度的得分,并根据分值的正负性对GIF短视频进行情感分类;所述情感权重和阈值根据样本数据的预测情感类别与真实情感类别的损失函数,采用梯度下降法自学习得到;其中GIF短视频的情感类别为:Sg(w)=w·Sv+(1-w)·St, Thre(w,t)=|wSv+(1-w)St|-t,w为情感权重,t为情感有效性阈值;1表示积极情感,-1表示消极情感,0表示中性情感,ε为松弛变量, 为预测情感类别。

2.根据权利要求1所述的融合文本信息的GIF短视频情感识别方法,其特征在于,所述步骤(2)中包括:(2.1)将步骤(1)提取出的视频候选帧图像每连续L帧视为一个序列,使用3D卷积神经网络提取出每个序列的池化五层特征;其中L为设定的序列长度,不足L帧时对最后一帧进行过采样,填补为一个序列;

(2.2)将每个序列中的图像按顺序输入卷积神经网络CNN提取出每帧图像的池化五层特征;

(2.3)将步骤(2.1)中的池化五层序列特征与步骤(2.2)中的池化五层图像特征串联融合作为表示视频片段的底层输入特征。

3.根据权利要求1所述的融合文本信息的GIF短视频情感识别方法,其特征在于,所述步骤(3)将分类概率区间映射到情感分值区间的方法为:对softmax输出的概率矩阵P=[p0 p1 p-1],取Pmax=max[p0,p1,p-1],其中p0为判断为中性情感的概率,p1为判断为积极情感的概率,p-1为判断为消极情感的概率,按照如下公式将Pmax从概率区间 映射到分值区间[-1,1]得到视频情感得分Sv:

4.根据权利要求1所述的融合文本信息的GIF短视频情感识别方法,其特征在于,所述步骤(4)中根据情感词组中每个单词Wi在情感打分工具SentiWordNet中的情感分值,获得文本的情感得分St:其中,n为情感词组中单词的个数。

5.根据权利要求1所述的融合文本信息的GIF短视频情感识别方法,其特征在于,情感权重w和有效性阈值t根据全局损失函数 利用梯度下降法学习得到及其对应的参数w和t;其中yi为实际情感类别,N为总样本数,

6.一种融合文本信息的GIF短视频情感识别系统,其特征在于,包括:

视频分割模块,用于将带有注释文本的GIF短视频按照设定帧率分割为若干候选帧图像;

视频片段特征提取模块,用于利用3D卷积神经网络C3D提取由设定长度的候选帧图像组成的视频片段的序列特征,同时利用卷积神经网络CNN按顺序提取相应视频片段中帧图像的图像特征,将序列特征与图像特征串联融合;

短视频情感得分计算模块,用于将视频片段特征提取模块获取的视频片段特征输入到卷积长短时记忆神经网络中进行解码,并使用softmax分类器获得GIF短视频所属情感类别的概率矩阵,将其从分类概率区间映射到情感分值区间后,作为视频部分的情感得分;

注释文本情感得分计算模块,用于将与GIF短视频内容相关联的注释文本进行分词处理、词形还原,根据构建的同义词森林筛选出情感词组标签,并输入到情感打分工具中获得注释文本的情感得分;

以及,情感识别模块,用于将视频情感得分与文本情感得分赋予不同的情感权重后相加,采用自适应阈值法对分值进行有效性判断后作为描述GIF短视频的情感丰富程度的得分,并根据分值的正负性对GIF短视频进行情感分类;所述情感权重和阈值根据样本数据的预测情感类别与真实情感类别的损失函数,采用梯度下降法自学习得到;其中GIF短视频的情感类别为:Sg(w)=w·Sv+(1-w)·St, Thre(w,t)=|wSv+(1-w)St|-t,w为情感权重,t为情感有效性阈值;1表示积极情感,-1表示消极情感,0表示中性情感,ε为松弛变量, 为预测情感类别。

7.一种融合文本信息的GIF短视频情感识别系统,其特征在于,包括至少一台计算机设备,所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1-5所述的融合文本信息的GIF短视频情感识别方法。