1.一种基于模态交互多任务学习的多模态情感分析方法,其特征在于,包括下列步骤:S1、对视频进行预处理:从视频中得到相应文本;从视频中分离出音频,并对音频进行转录;对视频进行分帧处理、对视频帧进行人脸检测与对齐处理;
S2、从预处理后的数据中获取单模态原始特征:利用预先训练的工具包提取出音频特征和视频特征;
S3、基于单模态原始特征,进一步提取单模态特征表示,包含文本特征表示,音频特征表示,视频特征表示;
S4、根据多模态数据以文本为主导模态的特点,构造基于神经网络模型的多任务学习框架;
S5、多模态情感分析任务采用了一种经典的多模态情感分析架构,包含了特征表示模块,特征融合模块和输出模块三个模块,特征表示模块获取单模态特征后,将三种单模态特征表示进行拼接并投影到一个低维空间,最后用多模态融合的特征表示来进行预测多模态情感;
S6、子任务部分将之前得到的单模态特征表示投影到一个新的特征空间中,将文本模态与非文本模态交互,学习文本模态与非文本模态的信息,进而有效提升多模态任务的结果;
所述S6的具体实现包括:
将之前得到的单模态特征表示投影到一个新的特征空间中;
在三种单模态特征表示的维度上增加一个额外的常数1:
ft∈[Ft 1]T
fv∈[Fv 1]T
fa∈[Fa 1]T
其中,ft、fv、fa为在投影的三种单模态特征表示的维度上增加一个额外的常数1的特征;Ft表示文本模态特征表示,Fa表示音频模态特征表示,Fv表示视频模态特征表示;
把文本模态特征ft分别与语音模态特征fa、视觉模态特征fv外积:其中,表示外积操作,表示文本模态分别与视觉模态和音频模态外积后的结果;
外积融合后经过几个线性层以方便后面的学习过程:
其中,表示可学习的权重矩阵;均表示偏移量;
所述基于模态交互多任务学习的多模态情感分析方法所对应的多模态情感分析模型的整体学习方法是通过将总损失函数结果最小化来实现的:l=ltask+2αlMSE
其中,α是子任务每个损失函数对总损失函数所占的权重,ltask表示多模态任务损失,lMSE表示文本模态Zt与两融合模态Ztv、Zta之间的损失函数,公式如下:其中,N为训练样本的数量,表示第i个批次的多模态情感真实结果,为第i个批次的多模态情感预测结果,k∈(tv,ta),表示第i个批次的融合模态Ztv和Zta,表示第i个批次的文本模态。
2.如权利要求1所述的一种基于模态交互多任务学习的多模态情感分析方法,其特征在于,所述步骤S3的具体包括以下步骤:S31、对原始文本特征,使用预先训练的12层BERT来提取文本的特征表示,根据经验,选择最后一层的第一个词向量作为整个句子的表示;
S32、对原始音频特征,使用一个单向长短时记忆神经网络来获取音频的特征表示,用最后的隐藏层向量作为全序列表示;
S33、对原始视频特征,使用一个单向长短时记忆神经网络来获取视频的特征表示,用最后的隐藏层向量作为全序列表示。
3.如权利要求2所述的一种基于模态交互多任务学习的多模态情感分析方法,其特征在于,所述文本特征表示、音频特征表示、视频特征表示具体分别为:其中,Ft表示文本模态特征表示,为原始文本信息It经过BERT提取的文本特征表示中选择的词向量;θtbert为文本模态特征表示提取过程中所用的权重参数;dt’为BERT最后一层的维度;
其中,Fa表示音频模态特征表示,为原始的语音特征Ia经过LSTM获取音频的特征表示;为音频模态特征表示提取过程中所用的权重参数;da’为LSTM的隐藏层维度;
其中,Fv表示视频模态特征表示,为原始的视觉特征Iv经过LSTM获取视频的特征表示;为视频模态特征表示提取过程中所用的权重参数;dv’为LSTM的隐藏层维度。
4.如权利要求1所述的一种基于模态交互多任务学习的多模态情感分析方法,其特征在于,所述S4的具体实现包括:多任务学习框架包括两个部分,分别为一个多模态任务和两个学习文本模态与非文本模态间信息的子任务:其中子任务结合了多模态数据以文本为主导模态的特点,学习文本模态与非文本模态间的信息,用于指导最终的多模态情感分析任务。
5.如权利要求1所述的一种基于模态交互多任务学习的多模态情感分析方法,其特征在于,所述S5的具体实现包括:将所有单模态表示进行拼接并投影到一个低维空间:
其中表示多模态融合的特征表示,为可学习的权重矩阵,表示偏移量;Ft表示文本模态特征表示,Fa表示音频模态特征表示,Fv表示视频模态特征表示;
最后用多模态融合的特征表示Fm来进行预测多模态情感:其中,ym为最终的多模态情感预测结果,表示可学习的权重矩阵,表示偏移量。