欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021112355391
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于脑连接储备池和图卷积神经网络的情绪识别方法,其特征在于:所述方法包括如下步骤:

步骤S1:建立基于脑连接储备池的特征表示模型和基于图卷积神经网络的情绪识别模型,前者用于获取原始脑电信号的双向特征表示,后者用于对脑电信号的双向特征表示进行情绪分类;

步骤S2:将脑连接储备池分为左、右半脑连接储备池,通过基于效价偏侧化的训练算法对左、右半脑连接储备池和图卷积神经网络进行训练;

步骤S3:使用训练后的基于脑连接储备池的特征表示模型对原始脑电信号进行双向特征表示,使用训练后的基于图卷积神经网络的情绪识别模型对脑电信号的双向特征表示进行情绪四分类;

在步骤S3中,使用训练后的基于脑连接储备池的特征表示模型对原始脑电信号进行双向特征表示,使用训练后的基于卷积神经网络的情绪识别模型对脑电信号的双向特征表示进行情绪四分类,具体情绪类别有放松、开心、消沉和生气;其中,放松和开心为积极情绪,消沉和生气为消极情绪,具体步骤如下:步骤S3-1:将原始脑电信号X输入基于脑连接储备池的特征表示模型,得到脑电信号的双向特征表示H(D);具体地,将输入脑连接储备池后,得到将输入脑连接储备池得到计算公式如下:其中,和分别表示通道j中t时刻的正序脑电信号和反序脑电信号,且和分别表示通道j中t时刻的正序储备池状态和反序储备池状态,D为脑电信号的时长,Win和W分别是输入层和步骤S2训练后的脑连接储备池的权重矩阵;根据时间t迭代上式,得到最后一个时刻D的储备池状态和作为通道j的脑电信号的双向特征表示接着,根据通道j迭代上式,最后获得所有通道的脑电信号的双向特征表示其中,和分别表示所有通道的脑电信号的正序特征表示和反序特征表示;

步骤S3-2:将脑电信号的双向特征表示H(D)和步骤S2训练得到的W构成脑电信号的正序特征表示图和反向特征表示图并合并为图G={(H(D),W)};

步骤S3-3:通过第一层图卷积层得到脑电信号的双向图卷积特征表示和计算公式如下:

其中,g(.)为卷积函数,L为图G的拉普拉斯矩阵,U为L对应的标准正交矩阵,Λ=diag([λ0,...,λN-1])为W的对角化矩阵,λ0,...,λN-1为W的特征值,W(0)为步骤S2训练后的第一层图卷积层的权重矩阵;

步骤S3-4:通过第二层图卷积层得到脑电信号的融合特征表示H(1),计算公式如下:

其中,W(1)为步骤S2训练后的第二层图卷积层的权重矩阵;

步骤S3-5:对脑电信号的融合特征表示H(1)通过全连接层进行情绪分类,得到脑电信号的情绪类别计算公式如下:其中,0代表消沉,1代表生气,2代表放松,3代表开心,0和1属于消极情绪,2和3属于积极情绪,Wc为步骤S2训练后的全连接层的权重矩阵,b为全连接层的固定偏置项。

2.根据权利要求1所述的一种基于脑连接储备池和图卷积神经网络的情绪识别方法,其特征在于:在步骤S1中,建立基于脑连接储备池的特征表示模型和基于图卷积神经网络的情绪识别模型,具体步骤如下:步骤S1-1:基于脑连接储备池的特征表示模型为两层网络结构;第一层为输入层,用于接收脑电信号,输入层的权重矩阵为Win;第二层为脑连接储备池,用于生成脑电信号的双向特征表示,脑连接储备池的权重矩阵为W,脑连接储备池的激活函数为双曲正切函数tanh();

步骤S1-2:输入层输入的脑电信号X表示为:

其中,X(t)表示t时刻所有通道的脑电信号,Xj、Xk分别表示通道j和k中所有时刻的脑电信号,xj(t)和xk(t)分别表示通道j和k中t时刻的脑电信号,D为脑电信号的时长,N为脑电通道数;

步骤S1-3:随机初始化输入层的权重矩阵Win;通过计算各通道间的相关度确定脑连接储备池的结构以初始化脑连接储备池的权重矩阵W={ωjk|j∈[1,N],k∈[1,N]};具体地,通道j和通道k之间的相关度是以加权相位滞后指数αWPLI(Xj,Xk)衡量的,计算公式为:其中,Δθ是Xj和Xk之间的相位差,sign()为符号函数,lj和lk分别表示Xj和Xk经过Hilbert变换后的幅值,且j,k∈[1,N];脑连接储备池内的每个神经元分别对应每个脑电通道;确定一个阈值ε,如果αWPLI(Xj,Xk)大于ε,则认为通道j和k之间有连接,且通道j与通道k之间的连接权值ωjk=αWPLI(Xj,Xk);否则,无连接,且ωjk=0;最后得到所有通道之间的连接权值,组成脑连接储备池的权重矩阵W;

步骤S1-4:基于图卷积神经网络的情绪识别模型为三层网络结构,前两层均为图卷积层;第一层图卷积层用于对双向特征表示进行图卷积以得到脑电信号的双向图卷积特征表示,第二层图卷积层用于对双向图卷积特征表示进行融合以得到脑电信号的融合特征表示;第一层图卷积层的权重矩阵为W(0),第二层图卷积层的权重矩阵为W(1),前两层图卷积层的权值矩阵均为随机初始化,它们的激活函数均为ReLU();第三层为全连接层,用于对融合特征表示进行分类得到脑电信号的情绪类别,全连接层的权重矩阵和固定偏置项分别为Wc和b,均是随机初始化,全连接层的激活函数为softmax()。

3.根据权利要求1所述的一种基于脑连接储备池和图卷积神经网络的情绪识别方法,其特征在于:在步骤S2中,基于效价偏侧化的训练算法训练脑连接储备池和图卷积神经网络,具体步骤如下:步骤S2-1:输入的脑电信号为计算交叉熵损失函数Loss,公式如下:

其中,Xi为第i个样本的脑电信号,为第i个样本的通道j的脑电信号,m为样本数,yi分别为第i个样本的情绪分类结果和实际情绪类别,且0代表消沉,1代表生气,2代表放松,3代表开心,0和1属于消极情绪,2和3属于积极情绪;

步骤S2-2:通过反向传播,对损失函数Loss求导,计算Wc、W(1)和W(0)的梯度,分别为▽Wc、▽W(1)和▽W(0),并更新Wc、W(1)和W(0);其中,Wc、W(1)和W(0)分别为全连接层、第二层图卷积层和第一层图卷积层的权重矩阵;将脑连接储备池分为左、右半脑连接储备池;具体地,脑连接储备池的权重矩阵W分为左半脑连接储备池权重矩阵Wl和右半脑连接储备池权重矩阵Wr;

其中,

W={ωjk|j∈[1,N],k∈[1,N]}

Wl={ωjk|j∈[1,N/2],k∈[1,N/2]}

Wr={ωjk|j∈[N/2+1,N],k∈[N/2+1,N]}

因此,对于脑连接储备池的训练,根据效价偏侧化,当yi为积极情绪,即yi∈{2,3}时,则计算Wl的梯度▽Wl,相反当yi为消极情绪,即yi∈{0,1}时,则计算Wr的梯度▽Wr,并更新Wl和Wr,也将Wl和Wr更新同步至W;直到损失函数收敛,完成训练,最终得到训练后的基于脑连接储备池的特征表示模型和基于图卷积神经网络的情绪识别模型。