1.一种基于DLKA和EEGNet的多模态情绪识别方法,其特征在于,包括以下步骤:S1:对脑电图信号,即EEG信号进行特征提取并进行预处理;
S2:构建DLKA-EEGNet模型,采用DLKA-EEGNet模型提取脑电图特征;
S3:对眼电图信号,即EOG信号进行特征提取,并将EOG信号与EEG信号进行多模态特征融合;
S4:将融合后的特征输入到深度学习模型中进行情绪识别。
2.根据权利要求1所述的基于DLKA和EEGNet的多模态情绪识别方法,其特征在于,所述步骤S1中,EEG信号由62个电极通道记录获取,受试者在不同实验阶段观看 24 段情绪触发视频,每段情绪触发视频的长度不同,在保持200Hz的采样率的前提下,使用1-75Hz带通滤波器消除噪声;每段情绪触发视频的EEG数据大小范围为62×9601至62×51801。
3.根据权利要求2所述的基于DLKA和EEGNet的多模态情绪识别方法,其特征在于,所述步骤S2中,DLKA-EEGNet模型包括时频模块、空间模块和可变大核注意力机制模块,可变大核注意力机制模块即DLKA模块,EEG信号送入时频模块得到特征F1,特征F1经过空间模块的卷积处理后得到特征F2,特征F2输入DLKA模块进行深度特征挖掘得到特征F3。
4.根据权利要求3所述的基于DLKA和EEGNet的多模态情绪识别方法,其特征在于,所述步骤S2中,时频模块用于挖掘EEG信号中的时频信息,模型通过设置时间卷积操作来学习频率滤波特征,并为所有EEG通道使用一维卷积核,从而学习每个通道的时间采样特性,通过时频卷积过程,生成的特征为特征F1。
5.根据权利要求3所述的基于DLKA和EEGNet的多模态情绪识别方法,其特征在于,所述步骤S2中,空间模块通过深度卷积和可分离卷积操作提取EEG信号的全局空间特征,将特征F1经过卷积处理后,得到特征F2。
6.根据权利要求3所述的基于DLKA和EEGNet的多模态情绪识别方法,其特征在于,所述步骤S2中,DLKA模块使用两种可变卷积核:Deform-3 Conv2D和Deform-5 Conv2D,分别对应卷积核大小为3×3和5×5,通过使用深度卷积、深度膨胀卷积和1×1的点卷积来构造大卷积核;构建一个通道数为、输入维度为、核大小为的深度卷积层与深度膨胀卷积层,表示输入特征图的高度,表示卷积核大小,深度卷积层与深度膨胀卷积层的核函数如下所示:;
;
其中,表示膨胀卷积的有效窗口大小,表示3D卷积中输入数据的深度,表示膨胀卷积率;当膨胀卷积率大于1时,核函数中的元素不再是连续的,而是通过跳过设定数量的间隔来进行滑动扫描。
7.根据权利要求6所述的基于DLKA和EEGNet的多模态情绪识别方法,其特征在于,所述步骤S2中,DLKA模块中,神经网络的浮点运算量即模型复杂度和参数量计算公式为:;
;
其中,表示输入特征图的高度。
8.根据权利要求7所述的基于DLKA和EEGNet的多模态情绪识别方法,其特征在于,所述步骤S2中,DLKA模块通过最小化确定最优膨胀率,即对关于求导并令导数为零以得到:。
9.根据权利要求8所述的基于DLKA和EEGNet的多模态情绪识别方法,其特征在于,所述步骤S2中,DLKA模块中,在深度卷积中加上,则新的参数量和新的模型复杂度为:;
。
10.根据权利要求9所述的基于DLKA和EEGNet的多模态情绪识别方法,其特征在于,所述步骤S3中,EOG信号包括五类特征数据:瞳孔直径、色散度、注视持续时间、扫视、事件统计,每段情绪触发视频的长度不同,EOG数据也是在不同时间段任务下进行采集,因此每个被试的EOG数据格式:特征记录数×总样本数为31×2505;为了保证EOG信号与EEG信号进行融合,首先对EOG信号进行维度映射,通过数据重构使EOG特征数据与EEG信号保持相同张量维度,将经过同维度变换后的EOG信号与EEG特征信号进行拼接,得到完整的多模态情绪特征,从而输入到后续的深度学习模型中。