欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025106449845
申请人: 湖南科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于时空融合与多重注意力机制的情绪识别方法,其特征在于,包括以下步骤:

S1:构建空间特征提取器,空间特征提取器对脑电信号进行特征提取得到特征M1;

S2:特征M1通过基于多头注意力机制的图卷积网络GAT生成空间特征F2;

S3:构建时间特征提取模块,时间特征提取模块对脑电信号进行特征提取得到时序特征F3;

S4:将空间特征F2和时序特征F3进行拼接,并通过三元组中心损失函数拉近同类样本的特征表示、推远异类样本的特征表示,得到时空特征 Mst;

S5:将时空特征 Mst进行展平后输入到宽度学习系统BLS进行特征映射,输出结果FB;

S6:采用全连接层和焦点损失函数构建分类器,实现对情绪的识别和分类;在情绪分类模型训练的同时,通过对抗域自适应器的梯度反转层、域判别器的损失函数,直接对齐源域和目标域的特征分布,不断增强模型的跨域适应能力。

2.根据权利要求1所述的基于时空融合与多重注意力机制的情绪识别方法,其特征在于,所述步骤S1中,空间特征提取器包括一个卷积块注意力模块CBAM、第一卷积层Conv1和第二卷积层Conv2,第一卷积层和第二卷积层提取深度特征,CBAM从与关键情感相关的通道中提取特征;

对于第i个脑电信号Xi,通过空间特征提取器进行特征提取得到特征M1的过程为:

其中,为CBAM的输出,为卷积注意力映射函数,T为脑电信号数量,为第一卷积层的输出,、均表示卷积操作,BN表示归一化操作,为第二卷积层的输出,为拼接操作。

3.根据权利要求2所述的基于时空融合与多重注意力机制的情绪识别方法,其特征在于,所述步骤S2的过程为:其中,C表示GAT中的通道数量,k表示输入的第k个节点,表示输入到第k个节点的特征M1,表示每个节点与其相邻节点相关的权重,即节点的自注意力系数;表示每个节点自身的权重,N表示多重头的数量。

4.根据权利要求3所述的基于时空融合与多重注意力机制的情绪识别方法,其特征在于,所述步骤S3中,时间特征提取模块包括长短期记忆网络LSTM、注意力机制AM和卷积层Conv,时间特征提取模块中,第i个脑电信号Xi分别输入到LSTM和Conv中,LSTM的输出结果输入到注意力机制AM中进行加权,并将加权得到的结果与Conv的输出相加,相加的结果又与Xi进行融合拼接;整个过程如下:其中,Conv表示卷积操作,为卷积层的输出,表示自注意力函数,为LSTM的输出,为注意力机制AM的输出,LSTM( )是构建长短期记忆网络的函数。

5.根据权利要求4所述的基于时空融合与多重注意力机制的情绪识别方法,其特征在于,所述步骤S4的过程为:其中,m表示边界,代表正负样本之间的最小间隔;、、分别是锚点、正样本和负样本的拼接特征向量,代表三元组中心损失函数, 表示平方欧几里得距离函数。

6.根据权利要求5所述的基于时空融合与多重注意力机制的情绪识别方法,其特征在于,所述步骤S5中,将时空特征Mst展平后输入BLS中进行特征映射, BLS架构由两层组成,第一层包含P个与Sigmoid运算集成的线性层,第一层获得的多个特征被拼接起来,输入到第二层中进行线性变换,将第一层、第二层的输出特征拼接,并通过线性层获得结果FB;整个过程如下:其中,代表BLS第一层集成的第j个线性变换,为BLS第一层集成的第j个线性层对应的权重矩阵,为BLS第二层的线性层对应的权重矩阵,为BLS第一层集成的第j个线性层对应的偏置项, 为BLS第二层的线性层对应的偏置项,代表BLS第二层集成的线性变换,为BLS第一层集成的第j个线性层的输出特征,为BLS第二层的输出特征,Flatten( )表示展平操作,为展平后的时空特征,Sigmoid ( )为Sigmoid激活函数。

7.根据权利要求6所述的基于时空融合与多重注意力机制的情绪识别方法,其特征在于,所述步骤S6中,通过全连接层将FB映射到情绪类别得分,并结合焦点损失函数优化训练过程,过程如下:其中,W是权重矩阵,b是偏置向量,S是样本数量,是第t个样本的真实类别标签,是模型预测的第t个样本属于的概率,是的权重系数,用于处理类别不平衡问题,r是焦点损失的聚焦参数,是焦点损失函数。

8.根据权利要求7所述的基于时空融合与多重注意力机制的情绪识别方法,其特征在于,所述步骤S6中,采用留一主题交叉验证法进行跨主题情绪识别评估,首先将DEAP数据集中一个主题的数据作为目标域,将其他主题的数据作为源域,循环执行对抗域自适应操作,直到所有主题都作为目标域一次,主题指的是参与实验的个体受试者。

9.根据权利要求8所述的基于时空融合与多重注意力机制的情绪识别方法,其特征在于,所述步骤S6中,对抗域自适应器包括梯度反转层和域鉴别器,域鉴别器是标准的二分类分类器,0是源域,1是目标域,域鉴别器本身的目标是区分源域和目标域,通过引入梯度反转层,使域鉴别器逐渐无法区分数据特征来自源域还是目标域,从而实现域自适应;

将FB输入到梯度反转层得到特征G,再把得到的特征G输入到域鉴别器,域鉴别器是一个简单的全连接神经网络,输入层输入特征G,隐藏层具有3个全连接层,用于提取域相关的特征,通过线性变换将输入特征映射到输出特征,用于域鉴别任务;过程如下:;

;

;

其中,表示梯度反转层,表示第层全连接层的输出,是权重矩阵,是偏置向量,f ( )表示线性变换,表示输入到全连接层的特征。

10.根据权利要求9所述的基于时空融合与多重注意力机制的情绪识别方法,其特征在于,所述步骤S6中,域鉴别器的目标是最小化二分类交叉熵损失,其公式定义为:其中,是域鉴别器对第 cnt 个样本的输出,即目标域的概率;是样本的域标签,取值为0表示源域,取值为1表示目标域, 是域鉴别器的损失函数。