1.一种基于注意力机制的多模态信号融合情绪识别方法,其特征在于,该方法包括以下步骤:S1. 对多模态生理信号进行统一的预处理,所述多模态生理信号包括脑电信号EEG和其它模态信号EXG,所述预处理是先将多模态生理信号进行基线校准,然后做分段处理,最后使用进行min-max进行归一化操作;
S2. 构建EEG多通道注意力模块,根据步骤S1预处理后得到的EEG信号,通过注意力机制强化关键通道特征;
S3. 根据步骤S1和步骤S2的输出,采用卷积神经网络,构建局部时间滤波器、空间滤波器和深度可分离时空卷积核分别对脑电信号EEG和其它模态信号EXG进行特征提取;
S4. 根据步骤S3特征提取得到EEG和EXG的特征向量,构建共享-私有编码器,显式建模EEG和EXG间的共享特征和模态内的特有性特征;
S5. 根据步骤S4得到EEG和EXG间的共享特征和各自的特有性特征,利用跨模态的交叉注意力机制,以共享特征为交互媒介,引导EEG和EXG两个模态私有特征在深层结构中进行多轮信息交互,融合双模态特征;
S6. 采用联合学习方法训练由S1-S5构成的基于注意力机制的多模态信号融合网络,网络用Adam优化器,初始学习率设置为0.001,并用余弦退火动态调整学习率。
2.根据权利要求1所述的一种基于注意力机制的多模态信号融合情绪识别方法,其特征在于,步骤S1所述的对多模态生理信号进行统一的预处理具体包括如下过程:S1.1. 将多模态生理信号进行基线校准,基线校准是将情绪激发阶段的信号值减去正常状态下的信号值,从而得到情绪激发的变化值;
S1.2. 分别对EEG和EXG信号做分段处理,选取1s为窗口,重叠率是25%;
S1.3. 分别对EEG和EXG信号使用进行min-max进行归一化操作,公式如下:,
式中,表示归一化后的信号,表示原始信号,表示原始信号最小值,表示原始信号最大值;
预处理后的脑电信号EEG记作,其中C是脑电信号EEG的电极数量,是脑电信号EEG的采样率;预处理后的其它模态信号EXG记作,其中是EXG的电极数量,是EXG的采样率。
3.根据权利要求1所述的一种基于注意力机制的多模态信号融合情绪识别方法,其特征在于,步骤S2所述的构建EEG多通道注意力模块,方法如下:S2.1.对时间维度进行全局平均池化,得到每个通道的全局特征,形状为(C,1),其中C是EEG的电极数量;
S2.2.用1x1的点卷积对全局特征进行变换,增强全局特征表达能力,并将全局特征展平,得到长度为的通道特征张量;
S2.3.通过Softmax函数计算注意力权重,之后通过扩展得到每个样本通道之间的关系矩阵;S2.4.构建单位矩阵,其中是单位矩阵;是可学习的参数矩阵,用于动态调整通道间的关系,接着构建通道间的图关联矩阵:;
S2.5.使用1D卷积和ReLU激活函数对全局特征进行非线性变化,增强全局特征表达;
S2.6.将关联矩阵与S2.1中的全局特征做矩阵相乘,得到形状同为(C,1)的通道注意力分数向量;
S2.7.使用sigmoid函数将通道的注意力分数向量约束在0-1之间,最后通过矩阵乘法实现图卷积操作,对通道特征进行加权融合。
4.根据权利要求1所述的一种基于注意力机制的多模态信号融合情绪识别方法,其特征在于,步骤S3所述的卷积神经网络,具体网络设置如下:第一层是时序滤波器:采用卷积核大小为(1,Fs/2)的2D卷积,其中,Fs表示脑电信号EEG的采样率,根据奈奎斯特-香农采样定理,卷积核长度为数据采样率的一半,捕获2HZ及以上的频率信息,提取到所有可用频率的信号分量;
第二层是空间滤波器:使用卷积核大小为(C,1)的深度卷积,通过深度卷积操作;
第三层是平均大小为(1,4)的池化层;
第四层是沿着特征图维度使用批量归一化,应用指数线性单元ELU激活函数加快收敛速度,并且使用dropout技术,概率p取0.25,具体含义就是让该层的神经元有25%的概率失去激活能力,从而被丢弃用于有效控制过拟合问题;
第五层使用卷积核大小为(1,Fs/8)的深度可分离卷积,用于提取更深层的时空特征;
第六层是进行与第四层相同的批量归一化、指数线性单元激活和dropout技术,最后得到长度为128的特征向量,EEG的特征向量记作:,EXG的特征向量记作:。
5.根据权利要求1所述的一种基于注意力机制的多模态信号融合情绪识别方法,其特征在于,步骤S4的具体方法如下:S4.1.根据模态不变性原理,假设多模态信号具有不变性特征和特有性特征表示,设计如下三个编码器:共享编码器、EEG模态私有编码器、EXG模态私有编码器,分别提取EEG和EXG两个模态的共享,即不变特征、EEG模态的特有性特征和EXG模态的特有性特征,三个编码器的符号分别记作:、、;
S4.2.将EEG模态和EXG模态的特征向量拼接,输入至共享编码器,得到模态的共享特征,其中 表示将EEG模态和EXG模态的特征向量进行拼接,将EEG的特征向量输入至EEG模态私有编码器得到EEG模态的特有性特征,同理,将EXG的特征向量输入至EXG模态私有编码器得到EXG模态的特有性特征;
S4.3.构建重构任务,设置和共享编码器对称的解码器,利用共享特征对EEG模态和EXG模态的特征向量进行重构,重构损失使用MSE损失函数;所述的MSE损失函数计算公式如下:,其中n是y的维度大小,表示重构前的原特征,表示重构特征;
S4.4.为了区分共享特征和特有性特征,采用正交性约束损失函数,使得在特征空间中,模态的共享特征和特有性特征尽量互相正交;所述正交性约束损失函数的计算:,其中是矩阵范数,上标T表示转置。
6.根据权利要求5所述的一种基于注意力机制的多模态信号融合情绪识别方法,其特征在于,步骤S5的跨模态的交叉注意力机制采用Transformer的基础架构,通过线性变换得到Query查询向量和Key键向量、Value值向量,之后根据Query和Key计算自注意力分数,并将其与Value相乘,与输入做残差连接,输入至批量归一化和前馈神经网络,与自注意力不同,跨模态注意力的Query查询向量和Key键向量、Value值向量的来源不同,具体如下:S5.1.对共享特征进行线性变换,得到双流交叉注意力模块的K矩阵和V矩阵:,
,
,
,
其中,K表示键向量,V表示值向量,S表示共享特征,b表示偏置,W表示线性变换矩阵,Q表示查询向量,上标e表示EEG模态,上标m表示EXG模态,下标i表示不同支流,下标0表示EEG支流,下标1表示EXG支流;
S5.2.计算跨模态交叉注意力权重:
,
其中,是Q张量的总维度;
S5.3.将计算出的注意力分数与V相乘得到每层的输出;
S5.4.经过批量归一化和前馈神经网络层,即2个全连接层,使用ReLU激活函数,保持形状维度不变,以便进行残差连接;
S5.5.每条支流设置3个Transformer块,每个块进行S5.2-S5.4的计算,针对EEG和EXG模态共设计两条支流,每条支流以共享特征为交互媒介,引导各自模态的特有性特征在Transformer块中进行多轮信息融合;
S5.6.最后将两个支流的输出向量拼接,输入至分类网络中,进行二分类或多分类任务。
7.根据权利要求5所述的一种基于注意力机制的多模态信号融合情绪识别方法,其特征在于,步骤S6.所述联合学习方法训练总的损失函数是:,其中,是情绪分类任务的损失函数,超参数和是决定各正则化项对总体损失贡献权重的参数,基于网格搜索超参数调优的方法,选定==0.2。