1.一种基于多模态的情绪识别系统,其特征在于,包括:
传感器阵列,配置用于从用户收集生物测量数据,所述生物测量数据包括脑电信号、面部图像和语音数据;
数据处理单元,与传感器阵列通信连接,所述数据处理单元用于接收所述传感器阵列收集的生物测量数据;对收集的生物测量数据进行预处理,获得预处理后数据;其中,所述预处理包括对脑电信号应用傅里叶变换以生成功率谱密度剖面,使用基于Adaboost的人脸检测算法从面部图像中检测面部特征,以及从语音数据中提取梅尔频率倒谱系数;应用多模态集成算法,将所述功率谱密度剖面、面部特征以及梅尔频率倒谱系数进行特征结合,获得一个统一特征向量;根据所述统一特征向量,使用训练过的深度学习模型,将用户的情绪分类到预定义类别中,以生成情绪识别结果;
输出单元,用于显示由数据处理单元生成的情绪识别结果。
2.根据权利要求1所述的基于多模态的情绪识别系统,其特征在于,所述多模态集成算法包括如下步骤:按照如下的公式1,将功率谱密度剖面
其中,
其中,
其中,
其中,
按照如下的公式5对中间特征向量
其中,
3.根据权利要求2所述的基于多模态的情绪识别系统,其特征在于,所述深度学习模型包括特征分解子网络、增强特征学习子网络、情感动态建模子网络以及多模态情感分类子网络;
其中,所述特征分解子网络用于接收统一特征向量,并采用主成分分析技术对接收的统一特征向量进行降维处理,获得降维后的特征向量;
所述增强特征学习子网络用于接收所述特征分解子网络提供的降维后的特征向量;使用卷积神经网络对于降维后的特征向量进行特征提取,获得空间特征表示;使用长短时记忆网络对于所述空间特征表示进行处理,获得时空特征表示;
所述情感动态建模子网络用于接收所述增强特征学习子网络提供的时空特征表示;使用变分自编码器对接收到的空特征表示进行编码,生成潜在情感表征;使用门控卷积网络对于潜在情感表征进行处理,生成反映情感动态的高级特征序列;
所述多模态情感分类子网络用于接收所述情感动态建模子网络提供的高级特征序列;使用注意力机制增强的多层感知机对所述高级特征序列进行处理,生成情绪识别结果。
4.根据权利要求3所述的基于多模态的情绪识别系统,其特征在于,所述特征分解子网络使用奇异值分解来实施主成分分析,以提高所述降维处理的计算效率和精确度。
5.根据权利要求3所述的基于多模态的情绪识别系统,其特征在于,所述增强特征学习子网络的卷积神经网络包括深度可分离卷积层,用以减少模型的计算复杂性并提高特征提取的效率;所述长短时记忆网络具备双向结构,以从时序数据的正反两个方向学习情感状态的变化。
6.根据权利要求3所述的基于多模态的情绪识别系统,其特征在于,所述情感动态建模子网络的变分自编码器使用非线性激活函数,以增强非线性编码能力,所述非线性激活函数包括ReLU和Leaky ReLU;所述门控卷积网络采用多尺度卷积核,以不同尺度捕捉情感表征的细节,从而更全面地理解情感动态。
7.根据权利要求3所述的基于多模态的情绪识别系统,其特征在于,所述多模态情感分类子网络的注意力机制增强的多层感知机使用多头注意力模型;其中,每个头专注于不同的特征子集,以实现对情感特征的细致解读并提高分类的准确率。
8.根据权利要求1所述的基于多模态的情绪识别系统,其特征在于,所述输出单元包括一个情绪驱动界面,所述情绪驱动界面根据所显示的情绪识别结果自动调整其颜色主题和图形元素;所述情绪驱动界面具体用于:当检测到快乐情绪时,界面将采用明亮的颜色和活泼的图标;当检测到悲伤情绪时,界面将采用深色调和缓和的图标,以此方式增强用户的情绪共鸣和理解。
9.根据权利要求1所述的基于多模态的情绪识别系统,其特征在于,所述输出单包括多模态反馈功能,所述多模态反馈功能提供视觉信息以及与情绪识别结果相应的音频反馈;所述多模态反馈功能具体同于:当检测到用户感到悲伤或紧张时,输出单元将播放安抚的音乐;当检测到用户感到快乐时,输出单元将播放欢快的音乐,从而增强情绪识别结果的传达和用户的感官体验。
10.一种基于多模态的情绪识别方法,其特征在于,包括:
从用户收集生物测量数据,所述生物测量数据包括脑电信号、面部图像和语音数据;
对收集的生物测量数据进行预处理,获得预处理后数据;其中,所述预处理包括对脑电信号应用傅里叶变换以生成功率谱密度剖面,使用基于Adaboost的人脸检测算法从面部图像中检测面部特征,以及从语音数据中提取梅尔频率倒谱系数;
应用多模态集成算法,将所述功率谱密度剖面、面部特征以及梅尔频率倒谱系数进行特征结合,获得一个统一特征向量;
根据所述统一特征向量,使用训练过的深度学习模型,将用户的情绪分类到预定义类别中,以生成情绪识别结果;
显示由数据处理单元生成的情绪识别结果。