1.一种基于脑电信号的情绪识别方法,其特征在于:包括以下步骤:1)脑电信号预处理:
11)在DEAP数据集中,按照国际10-20系统在采集的40个生理信号通道中,选择前32个通道为脑电信号的通道;
12)对所述脑电信号进行数据处理;
2)将三个连通性指标作为图卷积的邻接矩阵,将经过预处理的数据样本作为输入的样本,并利用图卷积神经网络提取图特征;
3)将经过预处理的脑电数据作为样本输入,利用时间卷积神经网络提取脑电信号中所蕴含的时间特征;
4)将图特征和时间特征相结合进行情绪分类;
其中,步骤2)具体包括:
假设图数据有N个节点,每个节点都有自己的特征,设这些节点的特征组成一个N×D维的矩阵X,各个节点之间的关系会形成一个N×N维的矩阵A,作为邻接矩阵;则X和A便为模型的输入;
图卷积神经网络是一个神经网络层,它的层与层之间的传播方式是:其中IN为单位矩阵,是的度矩阵,H(l)∈RN×D是第l层的特征,W(l)为图卷积神经网络第l层的参数;对于输入层,H(0)=X,σ1是非线性激活函数;
使用皮尔逊相关系数、锁相值和相位延迟指数三个连通性指标作为图卷积的邻接矩阵,并分别对三个连通性指标进行计算;
所述皮尔逊相关系数计算包括:
皮尔逊相关系数测量两个信号之间的线性关系作为一个从-1到1的连续数,皮尔逊相关系数的值为-1和1时分别表示负线性关系和正线性关系,皮尔逊相关系数为0表示两个信号不相关;
用表示第i个电极脑电数据;其中i=1,2,…,32,T是信号长度;将皮尔逊相关系数的绝对值作为邻接矩阵,第i个通道和第k个通道的脑电信号Xi和Xk之间的皮尔逊相关系数表示为:其中,μ和σ分别为对应通道脑电信号的均值和标准差;t表示时刻;
所述锁相值计算包括:
锁相值描述了两个信号之间的相位同步,锁相值的取值范围为0到1,锁相值为0表示两个信号是完全独立的,锁相值为1表示两个信号是完全同步的;其计算方法是将绝对相位差平均,如下所示:其中,是信号在t时刻的相位,j是虚数单位;
所述相位延迟指数计算包括:
相位延迟指数用来测量两个通道信号的相位同步程度,相位延迟指数的取值范围为0到1,值越大表示两个信号之间的相位同步程度越强;相位延迟指数对体积传导效应不敏感,但是其对噪声似乎比较敏感,具体表示为:其中,sign是符号函数;
上述三个连通性指标的度量矩阵分别作为图卷积的邻接矩阵,将经过预处理的样本X∈R32×128作为输入的样本,经过图卷积提取特征;用公式表示即:fG=EG(X,A)
其中fG表示图特征,EG(·)表示图特征提取函数,A为邻接矩阵;
输入全连接层,进一步提取特征,表示为:
fG=FC(fG)∈R256×1;
步骤3)的具体包括:
将经过预处理的脑电数据X∈R32×128作为样本输入,经过包含三个残差块的时间卷积神经网络提取脑电数据的时间特征,进而从输入数据中得到时间特征,整个时间特征提取器的过程描述为:fT=ET(X)∈R64×32
其中fT表示时间特征,ET(g)表示时间特征提取函数;
输入全连接层,进一步提取时间特征,表示为:fT=FC(fT)∈R256×1;
步骤4)具体步骤如下:
将图特征和时间特征连接起来作为最终的特征向量,向最终的特征向量送入一个包含20个神经元的全连接层,该过程描述为:o=FC(fG||fT)∈R1×20
其中||是将fG和fT连接在一起的连接操作;
然后进行线性变换:
y=WoT+b=[y1,y2]T∈R2×1其中W和b分别是权重矩阵和偏置,2表示情绪分类的类别数;
最后,将y的元素输入到softmax函数中进行情感识别,描述为:其中,P(c|X)是X属于第c类的概率,表示预测结果。
2.根据权利要求1所述的基于脑电信号的情绪识别方法,其特征在于:步骤12)具体包括:将所述脑电信号分成1秒长的一段,获得2400个数据样本用于训练神经网络;并用前3s的静默数据表示基本的情绪状态;为了去除基本情绪状态的影响,计算每个试验样本减去前3个1s数据的平均值,最后通过Z-score标准化得到最终预处理样本X∈R32×128。
3.根据权利要求2所述的基于脑电信号的情绪识别方法,其特征在于:步骤12)中将DEAP数据集中包含的基线信号作为参考信号,这些信号是在受试者没有受到音乐视频刺激时记录的。