1.一种结合注意力机制的双流自适应卷积循环混合脑电情绪识别方法,其特征在于:包括以下步骤:S1、收集多模态情绪数据集,并将其作为输入数据,对输入数据进行预处理;
S2、构建结合注意力机制的双流自适应卷积循环混合网络模型,所述结合注意力机制的双流自适应卷积循环混合网络模型包括CSAM模块、SA-CRNN模块、MHSA-CRNN模块和MHSA-TCN模块;
S3、将步骤S1中的输入数据以8:2的比例分为训练集和测试集,对步骤S2中的结合注意力机制的双流自适应卷积循环混合网络模型进行训练;
S4、通过步骤S3中训练完成的结合注意力机制的双流自适应卷积循环混合网络模型对脑电情绪进行识别。
2.根据权利要求1所述的一种结合注意力机制的双流自适应卷积循环混合脑电情绪识别方法,其特征在于:所述步骤S1中数据预处理的具体步骤包括:S1.1、对多模态情绪数据集中脑电信号进行去基线,得到去除基线后的脑电信号;
S1.2、对多模态情绪数据集中情感标签进行处理。
3.根据权利要求2所述的一种结合注意力机制的双流自适应卷积循环混合脑电情绪识别方法,其特征在于:所述步骤S1.1中的去基线的计算表达式如下:s=s
其中,s
4.根据权利要求1所述的一种结合注意力机制的双流自适应卷积循环混合脑电情绪识别方法,其特征在于:所述CSAM模块用于在通道维度上分配权重,且包括全局池化层、线性层、卷积层和激活层;
所述SA-CRNN模块用于提取脑电情绪信息;
所述MHSA-CRNN模块由卷积循环神经网络CRNN和多头自注意力机制MHSA组成,MHSA-CRNN模块中的卷积循环神经网络CRNN首先通过卷积循环神经网络CRNN提取空间维度的信息,接着采用LSTM提取信号的时间依赖性;
所述MHSA-TCN模块由多头自注意机制MHSA融合到时序卷积网络TCN中组成;
所述结合注意力机制的双流自适应卷积循环混合网络模型具体工作流程如下:S2.1、对输入的数据,通过CSAM模块为脑电通道赋予相应的权重,并将数据分别发送到MHSA-CRNN模块和SA-CRNN模块;
S2.2、使用MHSA-CRNN模块和SA-CRNN模块提取局部时空特征;
S2.3、接着将MHSA-CRNN模块和SA-CRNN模块提取的局部特征进行拼接并输入到MHSA-TCN模块中提取全局信息;
S2.4、将步骤S2.3提取的信息用于情感分类。
5.根据权利要求4述的一种结合注意力机制的双流自适应卷积循环混合脑电情绪识别方法,其特征在于:所述MHSA-CRNN模块中卷积循环神经网络CRNN的具体表达式如下:v
其中,x为输入信号,v
所述多头自注意力机制MHSA的具体计算表达式如下:MHSA(Q,K,V)=Concat(h
其中,Q,K,V分别表示查询、键和值的特征,SA(Q,K,V)表示自注意力的输出,
6.根据权利要求4所述的一种结合注意力机制的双流自适应卷积循环混合脑电情绪识别方法,其特征在于:所述SA-CRNN模块在进行卷积操作时卷积步长和池化步长通过如下的计算公式进行调整:其中,s