欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020100439936
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-11-28
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于注意力融合的在线短视频多模态情感识别方法,其特征在于,包括:S1:获取短视频中的各单模特征,即文本特征、语音特征以及图像特征;S2:采用双向GRU网络分别对各单模特征进行预处理,得到各个单模初级特征,即初级文本特征、初级语音特征和初级图像特征;S3:结合模态内部的各个单模初级特征和各模态之间的交互作用,得到高级文本特征、高级语音特征和高级图像特征;具体步骤包括:S31:将初级文本特征初级语音特征和初级图像特征同时输入到一个共享的双向GRU网络,得到具有交互作用的文本特征语音特征和图像特征

S32:将模态内部的初级文本特征、初级语音特征和初级图像特征与交互作用的对应特征进行融合,得到高级文本特征FiT、高级语音特征FiA以及高级图像特征FiV;S4:根据注意力机制确定各模态的贡献程度,得到总特征向量,将总特征向量输入到softmax函数中,得到基于注意力融合的双向GRU多模态情感识别模型;S5:对基于注意力融合的双向GRU多模态情感识别模型进行优化训练,将待识别的短视频输入到训练好的模型中,得到该短视频的情感识别结果;S6:根据得到的情感识别结果,控制该短视频是否进行上传;其中,GRU表示门循环单元,softmax表示归一化指数函数。2.根据权利要求1所述的一种基于注意力融合的在线短视频多模态情感识别方法,其特征在于,所述获取短视频中的各单模特征的步骤包括:S11:使用CNN提取视频中每个话语的文本特征,得到视频i中话语j的文本特征S12:使用openSMILE提取视频中每个话语的语音特征,得到视频i中话语j的语音特征S13:使用3D‑CNN提取视频中每个话语的图像特征,得到视频i中话语j的图像特征S14:获取视频i中的最大话语长度Li以及各单模特征的维度km,将模态m的每个话语采用一个特征向量表示,并将所有话语的特征向量存放于集合中;即其中,CNN表示双层神经网络模型,openSMILE表示语音特征提取模型,3D‑CNN表示三维神经网络模型,m∈{T,A,V},T代表文本、A代表语音、V代表图像,表示集合的维度

是Li×km维。3.根据权利要求1所述的一种基于注意力融合的在线短视频多模态情感识别方法,其特征在于,获取初级文本特征、初级语音特征和初级图像特征的过程包括:将文本特征语音特征以及图像特征分别输入到各自的双向GRU网络中,得到初级文本特征初级语音特征以及初级图像特征

4.根据权利要求3所述的一种基于注意力融合的在线短视频多模态情感识别方法,其特征在于,所述双向GRU网络由更新门zt和重置门rt组成,更新门zt决定是否要将隐藏状态更新为新的状态,重置门rt决定是否要将之前的状态忘记;双向GRU网络输出数据的大小为dm维,每个话语的特征向量输入双向GRU网络,双向GRU网络的计算公式为:其中,表示向量拼接操作,则模态m中所有话语经过双向GRU后的矩阵为:其中,m表示是模态类型,且m∈{T,A,V},T代表文本、A代表语音、V代表图像,Li表示视频i中的最大话语长度,t表示视频i中的第t个话语,为视频i中模态m的第t个话语的特征

表示,表示话语经过双向GRU网络后的隐藏层输出,表示前向GRU计算,表

示后向GRU计算,表示矩阵的维度是Li×2dm维,表示模态m的初级特征。

5.根据权利要求1所述的一种基于注意力融合的在线短视频多模态情感识别方法,其特征在于,得到具有交互作用的各单模态特征包括:将矩阵输入双向GRU中,双向GRU输出D维数据,将文本、语音和图像三种模态信息输入一个共享的双向GRU网络,得到交互作用后的数据,其计算公式包括:视频i中模态m的所有话语经过双向GRU后的矩阵表示为:得到具有交互作用的文本特征语音特征和图像特征其中,表示经过共享双向GRU网络层后得到的具有交互作用的信息,表示话语经过双向GRU网络后的隐藏层输出,表示前向GRU计算,表示后向GRU计算,表示向量拼接操作,表示视频i中模态m的所有话语经过双向GRU网络后的矩阵,表

示的维度为2D维,Li表示视频i中的最大话语长度,t表示视频i中的第t个话语,表

示矩阵的维度为Li×2D维。

6.根据权利要求1所述的一种基于注意力融合的在线短视频多模态情感识别方法,其特征在于,构建基于注意力融合的双向GRU多模态情感识别模型的步骤包括:S41:根据注意力机制确定各模态的贡献程度,得到总特征向量Fi*;S42:将总特征向量输入softmax函数中,得到基于注意力融合的双向GRU  多模态情感识别模型。7.根据权利要求6所述的一种基于注意力融合的在线短视频多模态情感识别方法,其特征在于,根据注意力机制确定各模态的贡献程度包括:将模态m的高级特征Fim输入到注意力网络,且模态m所占的注意力权重为αm,通过加权累加得到最后用于分类的总特征向量Fi*,其计算的表达示为:其中,Pm为Fim的隐藏单元状态,是权重参数,为偏置项,αm是经归一化后的权重向量,为待学习的参数。

8.根据权利要求6所述的一种基于注意力融合的在线短视频多模态情感识别方法,其特征在于,所述将总特征向量输入softmax函数中的过程包括:将注意力机制输出的总特征向量Fi*作为softmax函数的输入进行情感分类:y=softmax(Wsoft·Fi*+bsoft)其中,Wsoft为softnax层的权重矩阵,bsoft为softnax层的偏置项,y表示所有的真实标签,c为情感种类值,y为预测类的概率,y[c]表示预测类的真实标签,class表示总的情感种类值。9.根据权利要求1所述的一种基于注意力融合的在线短视频多模态情感识别方法,其特征在于,得到短视频的情感识别结果使用的方法包括:使用分类交叉熵函数与Adam优化器对基于注意力融合的双向GRU多模态情感识别模型进行训练优化,将待识别的短视频输入该模型,得到其情感识别结果;Adam表示适应性矩估计。