1.一种基于多模态时空特征融合的情绪识别方法,其特征在于,包括以下步骤:获取原始生理数据;
对所获取的原始生理数据进行预处理,得到多模态生理数据;
基于所得到的多模态生理数据分别提取多模态数据的空间特性和时间特性;
对所提取到的多模态数据的空间特性和时间特性进行特征级融合,得到融合特征;
根据所得到的融合特征进行分类,得到情绪识别的结果;
针对原始情绪数据集,对于数据集中的生理信号进行数据裁剪、线性插值和降噪处理;原始的情绪数据集中包含情感刺激阶段和自我评估截断,对原始的情绪数据集中的生理信号进行裁剪,截取情感刺激阶段数据;
将预处理后的多模态生理数据转换成灰度图像输入到神经网络中,从灰度图像中提取多模态数据的空间特征;
将预处理后的多模态生理数据分别输入到神经网络中,提取多模态生理数据的时间特征;
对神经网络中提取的多模态生理数据的时间特征和空间特征进行特征级融合,得到融合特征,用于情感识别任务,具体过程为:使用Count Sktech算法统计各个元素出现的频率,实现从高维到低维的映射;通过双线性池化方法对降维后的特征进行融合,得到融合特征;
初始化输入原始情绪数据集D=[S1,S1,…,Sn],其中Sn为第n次情感刺激实验中采集的生理信号序列,其中n∈N,N表示实验数量;每次实验中采集的生理信号序列其中ECGi,n表示第n次情感刺激实验中采集的第i个通道的心电信号,i=1,2,3,RSPn表示第n次情感刺激实验中采集的呼吸数据,Eye_Datan表示第n次情感刺激实验中采集的眼动数据。
2.如权利要求1中所述的一种基于多模态时空特征融合的情绪识别方法,其特征在于,原始的情绪数据集中包含情感刺激阶段和自我评估阶段,对原始的情绪数据集中的生理信号进行裁剪,截取情感刺激阶段数据;对截断后的数据进行线性插值,消除数据采集和处理过程中缺失值的影响;使用小波降噪法对数据进行降噪处理,消除噪声对识别效果的影响。
3.如权利要求1中所述的一种基于多模态时空特征融合的情绪识别方法,其特征在于,所述预处理包括:原始的情绪数据集中包含情感刺激阶段和自我评估截断,对原始的情绪数据集中的生理信号进行裁剪,截取情感刺激阶段数据;
对截断后的数据进行线性插值,消除数据采集和处理过程中的缺失值影响;
使用小波降噪法对数据进行降噪处理,消除噪声对识别效果的影响。
4.如权利要求1中所述的一种基于多模态时空特征融合的情绪识别方法,其特征在于,根据得到的融合特征,进行分类任务,得到最终情绪识别结果,具体过程为:训练SVM分类器;将融合特征输入到分类器中,得到最终识别结果。
5.一种基于多模态时空特征融合的情绪识别系统,其特征在于,包括以下步骤:获取模块,被配置为获取原始生理数据,对所获取的原始生理数据进行预处理,得到多模态生理数据;
融合模块,被配置为基于所得到的多模态生理数据分别提取多模态数据的空间特性和时间特性,对所提取到的多模态数据的空间特性和时间特性进行特征级融合,得到融合特征;
针对原始情绪数据集,对于数据集中的生理信号进行数据裁剪、线性插值和降噪处理,原始的情绪数据集中包含情感刺激阶段和自我评估截断,对原始的情绪数据集中的生理信号进行裁剪,截取情感刺激阶段数据;
将预处理后的多模态生理数据转换成灰度图像输入到神经网络中,从灰度图像中提取多模态数据的空间特征;
将预处理后的多模态生理数据分别输入到神经网络中,提取多模态生理数据的时间特征;
对神经网络中提取的多模态生理数据的时间特征和空间特征进行特征级融合,得到融合特征,用于情感识别任务,具体过程为:使用Count Sktech算法统计各个元素出现的频率,实现从高维到低维的映射;通过双线性池化方法对降维后的特征进行融合,得到融合特征;
识别模块,被配置为根据所得到的融合特征进行分类,得到情绪识别的结果。
6.一种计算机可读存储介质,其上存储有程序,其特征在于,该程序被处理器执行时实现如权利要求1-4中任一项所述的基于多模态时空特征融合的情绪识别方法中的步骤。
7.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-4中任一项所述的基于多模态时空特征融合的情绪识别方法中的步骤。