1.一种基于卷积‑长短期记忆网络音乐脑电时空特征分类方法,其特征在于由以下步骤组成:
(1)获取脑电数据数据集
从多模态情感数据集DEAP中选取脑电数据,网址为http://www.eecs.qmul.ac.uk/mmv/datasets/deap/index.html;脑电采集电极系统采用10‑20国际标准的128导联电极帽,电极帽上的一个物理电极代表一个电极通道;
(2)脑电数据预处理
1)对采集的脑电数据以128Hz的采样率进行下采样;
2)使用独立成分分析方法去除脑电信号中的眼电;
3)对所有电极通道进行排序如下:Fp1、AF3、F3、F7、FC5、FC1、C3、T7、CP5、CP1、P3、P7、PO3、O1、Oz、Pz、Fp2、AF4、Fz、F4、F8、FC6、FC、Cz、C4、T8、Cp6、Cp2、P4、P8、PO4、O2;
4)将脑电数据分段成60秒的小段,将试验前的3秒准备时间的脑电数据去除;
(3)选取脑电样本
从数据集DEAP中选取m个被试的电样本SC×Ni,其中i的取值为[1,m],m取值为[1,32],脑电样本SC×Ni的数据维度为C×N,C为通道数,C取值范围为[1,40],N为采样点个数,N取值为采样率的1~8倍,将脑电数据中每个电极通道的数据处理成长度为512的一维数组,处理后的数据样本集合为{S1,S2,...,Sm×C×k},其中k为1次试验中播放音乐的数量,k取值范围为[1,40];
(4)增强脑电数据
将每一个电极通道的脑电波数据按照长度为采样点数N进行最多数据片段分段;
(5)脑电数据标准化
将所有脑电数据按下式进行数据标准化s′:其中s为原始数据,为数据的平均值,v为数据的方差;
按下式确定均值
按下式确定方差v:
以上两式中的x1,x2,...,xn为n个有限正整数,n为数据总个数;
(6)划分训练集和验证集及测试集将数据标准化后的脑电数据划分成训练集、验证集、测试集,训练集为脑电数据的
70%,验证集为脑电数据的20%,测试集为脑电数据的10%,训练集与验证集、测试集无交叉;
(7)构建卷积‑长短期记忆网络
卷积‑长短期记忆网络由卷积神经网络(1)、长短期记忆网络(2)、全连接层(3)构成,卷积神经网络(1)的输出与长短期记忆网络(2)的输入相连,长短期记忆网络(2)的输出与全连接层(3)的输入相连;
所述的卷积神经网络(1)由一维卷积层(a1)、一维卷积层(a2)、一维卷积层(a3)、一维卷积层(a4)、一维卷积层(a5)、批归一化层(b)、Dropout层(c)构成,一维卷积层(a1)依次与一维卷积层(a2)、一维卷积层(a3)、批归一化层(b)、Dropout层(c)、一维卷积层(a4)、一维卷积层(a5)串联构成;
所述的长短期记忆网络(2)由批归一化层(b)、长短期记忆层(d1)、长短期记忆层(d2)、长短期记忆层(d3)、Dropout层(c)构成,批归一化层(b)依次与长短期记忆层(d1)、长短期记忆层(d2)、长短期记忆层(d3)、Dropout层(c)串联构成;
(8)训练卷积‑长短期记忆网络
将训练集的脑电数据输入到卷积‑长短期记忆网络,采用Adam优化方法动态调整卷积神经‑长短期记忆网络的学习率,损失函数使用下式交叉熵损失函数L(y,a):L(y,a)=ylna+(1‑y)ln(1‑a)其中,y为数据的真实值,a为数据的预测值,y取值为0或1,a取值为0或1;训练时数据的批次大小为采样率的1~8倍,迭代至卷积神经‑长短期记忆网络收敛,使用训练好的网络模型对愉悦度、唤醒度两个情绪维度进行自动分类;
按下式确定分类的准确度P:
其中,假设数据被模型预测的类别是A,TP即实际类别为A,也被正确预测的数据条数,FP即实际类别不是A,但被预测为A的数据条数;
(9)分类预测与模型性能评估
使用(8)中在验证集上准确率最高的模型对测试集数据进行分类预测并使用准确率、召回率分类模型评判指标对模型的整体性能进行评估,按下式确定召回率R:其中,假设数据被模型预测的类别是A,TP即实际类别为A,也被正确预测的数据条数,FN即实际类别是A,但被预测为其他类的数据条数。
2.根据权利要求1所述的基于卷积‑长短期记忆网络音乐脑电时空特征分类方法,其特征在于在(7)构建卷积神经‑长短期记忆网络步骤中,所述的一维卷积层为:一维卷积层(a1)的卷积核大小为1×15,一维卷积层(a2)、一维卷积层(a3)、一维卷积层(a4)、一维卷积层(a5)的卷积核大小都为1×3,一维卷积层(a1)、一维卷积层(a2)、一维卷积层(a3)、一维卷积层(a4)、一维卷积层(a5)的输出分别与一个线性整流单元层的输入相连。
3.根据权利要求1所述的基于卷积‑长短期记忆网络音乐脑电时空特征分类方法,其特征在于:在(7)构建卷积‑长短期记忆网络步骤中,所述的Dropout层(c)的丢弃率为0.5。
4.根据权利要求1所述的基于卷积‑长短期记忆网络音乐脑电时空特征分类方法,其特征在于:在(7)构建卷积神经‑长短期记忆网络步骤中,所述的长短期记忆层(d1)输出空间维数为64,丢弃率为0.5,长短期记忆层(d2)输出空间维数为64,丢弃率为0.5,长短期记忆层(d3)输出空间维数为32。
5.根据权利要求1所述的基于卷积‑长短期记忆网络音乐脑电时空特征分类方法,其特征在于在(7)构建卷积‑长短期记忆网络步骤中,所述的全连接层(3)为:全连接层(3)的输出空间维度为2,全连接层(3)的激活函数S(x)如下:其中x表示全连接层(3)的输出,x取值为有限整数。