1.一种注意力残差网络结合LSTM的EEG情绪识别方法,其特征在于:包括数据收集读取模块、网络模型读取运算模块以及数据试验模块;
所述数据收集读取模块通过读取数据库中的原始脑电信号,将数据根据时域进分成N段,通过公式对特征值h(X)的微分熵进行计算,将读取的信号特征将其对应的坐标映射到二维空间矩阵中同时设置二维特征图的高h和宽w,之后将不同频段d的二维特征图进行堆叠,生成三维特征矩阵,之后根据N段原始脑电信号进行对应生成四维特征矩阵R,将每个输N*d*h*w入的样本Sn存储到四维特征矩阵R 中,在数据收集读取模块生成的四维特征矩阵后,将数据传递至网络模型读取运算模块中;
所述网络模型读取运算模块建立网络模型,网络模型包括有三个模块,分别为ECA模块、ECA‑ResNet模块和LSTM模块,所述ECA模块通过使用一种不降维的局部跨信道交互策略,来计算局部跨信道交互的覆盖率k,根据公式计算出注意力权重P2,所述ECA‑ResNet模块将残差网络结构通过输入的样本Sn得出输出样本Qn,所述LSTM模块结合数据收集读取模N*d*h*w块中的四维特征矩阵R 以及ECA‑ResNet模块中的输出样本Qn计算对应时间段脑电信号中的时空以及频率信息,并将数据发送到数据试验模块中;
所述网络模型读取运算模块进行读取运算的时候包括以下步骤:步骤一、网络输入,输入提取每段脑电信号微分熵的四维特征图;
步骤二、频空信息提取,使用带有注意力机制的残差网络从每个时间切片信息中提取其频率和空间信息;
步骤三、时间信息提取,使用LSTM网络从带有注意力机制的残差网络的输出中提取其间隐藏的动态时间信息;
步骤四、使用全连接层进行最终情绪状态的分类;
所述ECA模块中局部跨信道交互地覆盖率k的计算公式如下:公式中|t|odd表示最接近t的奇数,C表示输入通道数,通道数C的值为4,γ表示的频段对应频率值,γ值设置有2,b的值设置为1;
C*d*h*w
所述ECA模块的内部网络输入信号Pn∈R ,其中C、d、h、w分别代表四维特征图中的通道、频段、宽度、高度,通过去除时间和空间维度来对初始通道权值进行计算,计算公式如下:其中,Fave,a表示初始通道权值第a个频率下的特征均值,Pa(C,w,h)表示输入信号在第a个频率的特征矩阵中第C个通道内高为h,宽为w对应的值;
所述ECA模块计算注意力权重P2计算公式如下:
P2=σ(f(Fave))
其中f表示的是一维卷积运算,σ为Sigmoid运算,Fave表示对初始通道中所有的频率进行卷积;
所述ECA‑ResNet模块在卷积层之后添加最大池化层包括有四个带有注意力机制的残
512*2T
差块,一个最大池化层以及一个全连接层,将输入的样本Sn转化最终输出Qn∈R ,其中Qn
512
=(q1,q2,q3…q2T),qt∈R ,t为当前时间标号;
所述LSTM模块的时间信息通过ECA‑ResNet模块进行隐藏,LSTM模块层间的计算公式如下;
it=σ(Wi*[ht‑1,qt]+bi)
ft=σ(Wf*[ht‑1,qt]+bf)
gt=tanh(Wc*[ht‑1,qt]+bc)Ct=ftCt‑1+itgt
ot=σ(Wo*[ht‑1,qt]+bo)
ht=ottanh(Ct)
其中t为当前时间标号,σ为Sigmoid函数,i,f,g,C,o,h分别代表着输入门,遗忘门,单元状态,激活状态,输出层以及单元隐藏状态,W表示不同下标对应的权重矩阵,Wc表示激活状态的权重矩阵, 表示的是对应单元隐藏状态在输出层上的权重矩阵,b为偏执项,bc
128
表示激活状态的偏执项,对于最后一层LSTM模块节点输出为yt∈R ,tanh()表示双曲正切函数的缩写;
所述数据试验模块读取网络模型读取运算模块中的计算数据通过准确率、精确率、召回率以及建立的模型性能的指标来对试验结果进行分析,并对分析结果附带上预测标签。
2.根据权利要求1所述的一种注意力残差网络结合LSTM的EEG情绪识别方法,其特征在于:所述数据收集读取模块提取DEAP公共数据集中的原始脑电信号进行提取并将提取出来的DE特征分成N段。
3.根据权利要求2所述的一种注意力残差网络结合LSTM的EEG情绪识别方法,其特征在于:所述DE特征的微分熵计算公式如下:公式中f(x)表示X的概率密度函数,所述f(x)在固定频段内其分布为高斯分布满足(μ,2
σ),计算公式如下:
2
公式中e表示的时间序列的欧拉常数,σi表示时间序列的标准差,μ表示期望值。
4.根据权利要求3所述的一种注意力残差网络结合LSTM的EEG情绪识别方法,其特征在于:所述数据收集读取模块将外部设备的电信号微分熵特征矢量转化为紧凑的2D图,之后将其一一映射二维空间中,并形成高为h,宽为w的二维特征图,并结合频带特征d构件三维N*d*h*w特征矩阵,将每个频带的读取时间设置为T,结合R ,N=1,2,3…2T,得出每个脑电段可
2T*d*h*w
表示为Sn∈R 。
5.根据权利要求1所述的一种注意力残差网络结合LSTM的EEG情绪识别方法,其特征在于:所述数据试验模块计算公式如下:其中TP表示真实标签为正类,并且模型预测也为正类,TN表示真实标签为负类,并且模型预测标签也为负类,FN表示真实标签为正类,但模型预测标签为负类,FP表示真实标签为负类,但是模型预测标签为正类,F1 Score表示预测计算终值。