1.基于判别学习的多模态情绪识别方法,其特征在于,包括:步骤1:采集若干训练对象的多模态信息,所述多模态信息包括脑电信号、人脸信号、语音信号和文本信号;
步骤2:将所述多模态信息分别输入至各自的特征提取网络,得到脑电特征、人脸特征、语音特征和文本特征;
步骤3:使用典型相关分析方法计算任意两个模态特征之间的相关度;
步骤4:将各模态特征分别输入至各自对应的单模态分类器,得到单模态预测结果;
步骤5:利用任意两个模态特征之间的相关度与各个单模态预测结果,设计各模态对应的类损失函数如公式(10)所示:其中,为根据第m种模态特征对第y类别的预测结果;M为模态特征的种类总数;rtm为第m种模态特征与第t种模态特征之间的相关度;c为相关度使用的选择变量;β是一个超参数;
步骤6:根据各模态对应的类损失函数得到目标函数来指导情绪识别模型的训练;目标函数如公式(15)所示:其中,λm表示权重,α为惩罚因子,||·||2表示L2正则,W表示情绪识别模型中的可学习参数;
步骤7:根据待识别对象的多模态信息,利用训练好的情绪识别模型得到情绪识别结果。
2.根据权利要求1所述的基于判别学习的多模态情绪识别方法,其特征在于,步骤1具体包括:分别利用电极脑电帽和摄像头同步采集训练对象的脑电信号和视频;从所述视频中提取训练对象的人脸信号和语音信号,再将所述语音信号转换为文本信号。
3.根据权利要求1所述的基于判别学习的多模态情绪识别方法,其特征在于,步骤2中,采用小波变换从脑电信号中提取得到脑电特征,采用OpenFace工具提取得到人脸特征,采用LibROSA工具提取得到语音特征,采用预训练的BERT-base模型提取文本特征。
4.根据权利要求1所述的基于判别学习的多模态情绪识别方法,其特征在于,步骤2中还包括:将脑电特征、人脸特征、语音特征和文本特征共同输入至LSTM网络来学习每种模态特征中的时间依赖关系。
5.根据权利要求1所述的基于判别学习的多模态情绪识别方法,其特征在于,步骤3具体包括:设定X和Y表示任意两个模态特征的特征向量,按照公式(3)构建两个特征向量X和Y与对应的待求投影向量u和v之间的关系:其中,CXY=cov(X,Y)表示X和Y的协方差,CXX=cov(X,X)表示X的自协方差,CYY=cov(Y,Y)表示Y的自协方差;
对公式(3)求解得到u和v,利用u和v分别对变量X和Y进行线性组合,得到降维后的变量X'和Y';
按照公式(7)计算得到任意两个模态特征之间的相关度r:其中,相关度的取值范围为[-1,1],取值为-1和1时为强相关,取值为0时为不相关。
6.根据权利要求1所述的基于判别学习的多模态情绪识别方法,其特征在于,步骤6中,在训练阶段,按照公式(16)来优化可学习参数:
7.基于判别学习的多模态情绪识别系统,其特征在于,包括:采集模块,用于采集若干训练对象的多模态信息,所述多模态信息包括脑电信号、人脸信号、语音信号和文本信号;
特征提取模块,用于将所述多模态信息分别输入至各自的特征提取网络,得到脑电特征、人脸特征、语音特征和文本特征;
相关度计算模块,用于使用典型相关分析方法计算任意两个模态特征之间的相关度;
分类器模块,用于将各模态特征分别输入至各自对应的单模态分类器,得到单模态预测结果;
训练及预测模块,用于利用任意两个模态特征之间的相关度与各个单模态预测结果,设计各模态对应的类损失函数;根据各模态对应的类损失函数得到目标函数来指导情绪识别模型的训练;根据待识别对象的多模态信息,利用训练好的情绪识别模型得到情绪识别结果;
各模态对应的类损失函数如公式(10)所示:
其中,为根据第m种模态特征对第y类别的预测结果;M为模态特征的种类总数;rtm为第m种模态特征与第t种模态特征之间的相关度;c为相关度使用的选择变量;β是一个超参数;
目标函数如公式(15)所示:
其中,λm表示权重,α为惩罚因子,||·||2表示L2正则,W表示情绪识别模型中的可学习参数。