欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022110724856
申请人: 南通大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于注意力的时空网络的脑电情绪识别方法,其特征在于,包括以下步骤:S1、获取受试者观看视频片段的脑电数据和标签数据;

S2、数据预处理,包括:降采样、去除基线信号、去除眼电信号和眨眼的生理伪迹、带通通滤波保留4.0~45.0Hz的脑电信号对数据进行划分;

S3、构建基于核注意力的时空卷积神经网络模型;

步骤S3中,基于核注意力的时空卷积神经网络模型包括核注意力模块、空间依赖模块和时间依赖模块,包括以下步骤:S3.1、使用核注意力模块获取脑电的节点属性;

S3.2、空间依赖模块提取脑电数据的空间特征信息;

S3.3、时间依赖模块采用长短时记忆网络模型,提取脑电数据的时间序列数据,并利用历史信息对当前状态产生影响;

步骤S3.3中,长短时记忆网络模型通过在每个LSTM单元引入门结构,即由一个sigmoid函数和一个点乘操作组成,且sigmoid函数的输出值在[0,1]区间,控制丢弃或增加信息,以确定遗忘或者记忆,每一所述LSTM单元包括遗忘门、输入门和输出门,内容如下:S3.3.1、遗忘门:通过上一个单元的输出ht-1和本单元的输入为输入的sigmod函数,为Ct-1中的每一项产生一个在[0,1]内的值,以控制上一单元状态被遗忘的程度,其公式表达如下:其中,σ表示sigmoid函数,ht-1表示上一个单元的隐节点,表示脑电数据,Wf表示遗忘门权重系数,bf表示遗忘门误差;

S3.3.2、输入门:通过与一个tanh函数配合控制新的信息加入,其tanh函数产生一个新的候选项输入门it为单元状态Ct中的每一项产生一个[0,1]内的值,以更新记忆单元的单元状态,其公式表达如下:其中,σ表示sigmoid函数,tanh表示tanh函数,Wi表示输入门权重系数,bi表示输入门误差,Ct表示新的单元状态,WC表示单元状态权重系数,bC表示单元状态误差;

S3.3.3、输出门:激活单元状态,输出门ot为单元状态Ct中的每一项产生一个[0,1]内的值,以控制当前的单元状态的过滤,并输出下一个单元的隐节点ht值,其公式表达如下:ht=ot*tanh(Ct);

其中,Wo表示输出门权重系数,bo表示输出门误差;

S4、训练步骤S3的神经网络模型,进行参数调整,得到脑电情绪识别的分类结果;

S5、利用设定的评价指标,以SVM模型作为基线,与多种深度神经网络模型的比较,验证基于核注意力的时空网络模型的有效性。

2.根据权利要求1所述的基于注意力的时空网络的脑电情绪识别方法,其特征在于,步骤S1中,每个受试者观看一段视频的脑电数据包括3s的基线信号和60s的情绪刺激信号,采用32通道BiosemiActiveTwo系统,采样频率为512Hz,国际标准10/20系统获取用户的脑电数据,并对用户在不同情绪状态下的脑电数据赋予不同的情绪标签;

所述标签数据包括唤醒度和效价度,采用9点量表对标签数据的各个维度水平进行测量,数值越大,表示情绪激活程度越高。

3.根据权利要求1所述的基于注意力的时空网络的脑电情绪识别方法,其特征在于,步骤S2包括以下步骤:S2.1、去除脑电数据中3s的基线信号;

S2.2、将512Hz的采样频率降采样到128Hz;

S2.3、采用盲源分离法去除脑电数据中的眼电信号和眨眼的生理伪迹;

S2.4、去除高频噪声的干扰,对脑电数据进行4.0~45.0Hz的带通滤波;

S2.5、对于脑电数据每个维度的类标签,选择5作为阈值,将9个离散的值投影到每个维度的低类和高类中;

S2.6、数据扩充:将脑电数据中的60s脑电信号数据分成更小的不重叠的4s段,每个脑电数据被分成15段。

4.根据权利要求1所述的基于注意力的时空网络的脑电情绪识别方法,其特征在于,步骤S3.1包括以下步骤:S3.1.1、将核的长度按采样率fs的不同比例设置,比值系数记为αk∈R,其中k为卷积层的层数,k将从1到k,第k层T核的大小用表示,公式如下:S3.1.2、经过步骤S2后的脑电信号数据表达公式如下:Xi∈Rc×l,i∈[1,...,n];

其中,n表示脑电数据的样本量,c表示脑电信号的通道数量,l表示单个样本的长度;

S3.1.3、将不同核学习到的脑电特征进行融合拼接,注意力模块的最终特征表示公式如下:其中,Fbn代表批处理归一化函数,Favgpool代表平均池化函数,Fcat代表特征融合函数,Fconv代表卷积函数。

5.根据权利要求1所述的基于注意力的时空网络的脑电情绪识别方法,其特征在于,步骤S3.2包括以下步骤:S3.2.1、空间依赖模块包括重复四次基本的单元,即2D卷积层、Batch normal层,LeakyReLU层和平均池化层,将步骤S3.1中核注意力模块得到的输出作为输入特征,空间依赖模块最终特征表示的公式如下:其中,FLeakyrelu代表激活函数,Fspatial_conv代表空间卷积函数;

S3.2.2、卷积神经网络的激活函数采用Leaky ReLU激活函数,其公式如下:f(x)=max(0,x)+leak*min(0,x);

其中,leaky取值为0.01。

6.根据权利要求1所述的基于注意力的时空网络的脑电情绪识别方法,其特征在于,步骤S4包括以下步骤:S4.1、交叉验证:将步骤S2处理后的脑电数据进行分组,分别设置训练数据和验证数据,先用训练数据对步骤S3中的网络模型进行训练,再利用验证数据来测试训练得到的模型;

S4.2、通过参数调整提升模型效果,保存网络模型,输出情绪识别的分类结果。

7.根据权利要求6所述的基于注意力的时空网络的脑电情绪识别方法,其特征在于,步骤S4.1具体步骤如下:在10次交叉验证的每一步中,选取1次作为测试数据,其余9次作为训练数据,在9次训练中,数据随机分为70%的训练数据和30%的验证数据。

8.根据权利要求1所述的基于注意力的时空网络的脑电情绪识别方法,其特征在于,步骤S5包括以下步骤:S5.1、性能评价:选择第一种度量标准是准确性作为评价指标,性能评价公式如下:其中,TP为真阳性,TN为真阴性,FP为假阳性,FN为假阴性;

S5.2、选择F1分数评价指标对脑电情绪识别结果进行量化,结合分类器的查全率和查准率,定义为分类器查全率和查准率的调和均值,公式如下:S5.3、模型比较中,选择传统机器学习方法SVM作为基线网络模型,并与包括DeepConvNet、EEGNet、TSception在内的深度学习网络进行比较。