1.一种多模态对话情感识别方法,其特征在于,包括:
获取对话数据集及对话的真实情感标签,所述对话数据集包括多个对话以及每个对话包含的模态特征;
训练多模态对话情感识别模型,将对话数据集输入至多模态对话情感识别模型中,得到每个对话的预测情感标签,根据每个对话的预测情感标签和真实情感标签计算模型的交叉熵损失,当模型的交叉熵损失最小时,得到训练好的多模态对话情感识别模型;
将待识别的对话数据输入至训练好的多模态对话情感识别模型中,得到情感识别结果。
2.如权利要求1所述的多模态对话情感识别方法,其特征在于,所述训练多模态对话情感识别模型包括:获取对话数据集及对话的真实情感标签,所述对话数据集包括多个对话以及每个对话包含的多模态特征;提取所述每个对话包含的多模态特征,得到全模态特征;
将所述全模态特征中的一类模态特征擦除,得到擦除模态特征;根据所述全模态特征以及所述擦除模态特征,获取被擦除模态特征;
计算所述多模态对话情感识别模型中每个神经元对所述被擦除模态特征的响应程度;
根据所述响应程度划分神经元的主导模态和非主导模态;
将对话数据集输入至多模态对话情感识别模型中,得到每个对话的预测情感标签,根据每个对话的预测情感标签和真实情感标签计算模型的交叉熵损失以及擦除模态特征的交叉熵损失;根据模型的交叉熵损失以及擦除模态特征的交叉熵损失计算各模态的优化速度;
根据所述各模态的优化速度,计算各模态调制系数;
根据所述各模态调制系数,为主导模态和非主导模态重新分配梯度。
3.如权利要求2所述的多模态对话情感识别方法,其特征在于,所述计算所述多模态对话情感识别模型中每个神经元对所述被擦除模态特征的响应程度具体为:其中,ai为多模态对话情感识别模型中第i个神经元;um,k表示所述对话数据集中对话中第m个模态信息中第k个值,M表示当前对话包含的模态数量,D表示对话的特征维度;将擦除第m个模态信息的对话记为 表示 中第m个模态信息中第k个值。
4.如权利要求2所述的多模态对话情感识别方法,其特征在于,所述根据所述响应程度划分神经元的主导模态和非主导模态,具体为,定义指示函数表达式:以及k≠m
其中,|*|为绝对值运算, 为指标函数II(*)的值, 是指神经元基于第m个模态的响应度, 是神经元基于第k个模态的响应度,且k≠m;参数∈为阈值;
当神经元对第m个模态的响应程度大于其他所有模态时,指示函数值为1,第m个模态为神经元的主导模态;否则为0,第m个模态为神经元的非主导模态。
5.如权利要求2所述的多模态对话情感识别方法,其特征在于,所述将对话数据集输入至多模态对话情感识别模型中,得到每个对话的预测情感标签,根据每个对话的预测情感标签和真实情感标签计算模型的交叉熵损失以及擦除模态特征的交叉熵损失;根据模型的交叉熵损失以及擦除模态特征的交叉熵损失计算各模态的优化速度,具体为:其中, 表示多模态模型的参数集, 表示第t次迭代步下,mini‑batch的话语特征的集合;Nt和Nc分别表示话语特征的集合中话语的总数和情感类别的总数;yi,j表示第i个话语的第j个类别的标签值,当第i个话语属于第j个类别时,yi,j=1时,否则yi,j=0;ei,j表示第i个话语的第j个类别的预测概率值;
第t次迭代步下,第m个模态的优化速度测量公式如下:
其中, 是将所有话语中第m个模态信息擦除的mini‑batch下的话语特征集合。
6.如权利要求2所述的多模态对话情感识别方法,其特征在于,所述根据所述各模态的优化速度,计算各模态调制系数,具体为:其中, 是指第m个模态的优化速度, 是指第k个模态的优化速度, 表示第m个模态的调制系数,且第m个模态的调制系数 随着第m个模态的优化比例 的增大而减小,当第m个模态的调制系数 的值接近于1时,第m个模态的优化比例 达到最小值,参数γ是一个控制调制程度的超参数。
7.如权利要求2所述的多模态对话情感识别方法,其特征在于,所述根据所述各模态调制系数,为主导模态和非主导模态重新分配梯度,具体为,为主导模态和非主导模态更新模态共享参数:其中, 表示模型中连接第l‑1层的第i个神经元与第l层的第j个神经元的模态共享参数; 是模态指示器计算得到第l‑1层的第i个神经元对第m个模态的指示系数;η表示学习率。
8.一种多模态对话情感识别系统,其特征在于,包括:
提取模块,用于获取对话数据集及对话的真实情感标签,所述对话数据集包括多个对话以及每个对话包含的模态特征;
训练模块,用于训练多模态对话情感识别模型,将对话数据集输入至多模态对话情感识别模型中,得到每个对话的预测情感标签,根据每个对话的预测情感标签和真实情感标签计算模型的交叉熵损失,当模型的交叉熵损失最小时,得到训练好的多模态对话情感识别模型;
识别模块,用于将待识别的对话数据输入至训练好的多模态对话情感识别模型中,得到情感识别结果。
9.一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如权利要求1所述的多模态对话情感识别方法中的步骤。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1所述的多模态对话情感识别方法中的步骤。