欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025108202781
申请人: 湖南科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 医学或兽医学;卫生学
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于DLKA和EEGNet的多模态情绪识别方法,其特征在于,包括以下步骤:S1:对脑电图信号,即EEG信号进行特征提取并进行预处理;

S2:构建DLKA-EEGNet模型,采用DLKA-EEGNet模型提取脑电图特征;

S3:对眼电图信号,即EOG信号进行特征提取,并将EOG信号与EEG信号进行多模态特征融合;

S4:将融合后的特征输入到深度学习模型中进行情绪识别。

2.根据权利要求1所述的基于DLKA和EEGNet的多模态情绪识别方法,其特征在于,所述步骤S1中,EEG信号由62个电极通道记录获取,受试者在不同实验阶段观看 24 段情绪触发视频,每段情绪触发视频的长度不同,在保持200Hz的采样率的前提下,使用1-75Hz带通滤波器消除噪声;每段情绪触发视频的EEG数据大小范围为62×9601至62×51801。

3.根据权利要求2所述的基于DLKA和EEGNet的多模态情绪识别方法,其特征在于,所述步骤S2中,DLKA-EEGNet模型包括时频模块、空间模块和可变大核注意力机制模块,可变大核注意力机制模块即DLKA模块,EEG信号送入时频模块得到特征F1,特征F1经过空间模块的卷积处理后得到特征F2,特征F2输入DLKA模块进行深度特征挖掘得到特征F3。

4.根据权利要求3所述的基于DLKA和EEGNet的多模态情绪识别方法,其特征在于,所述步骤S2中,时频模块用于挖掘EEG信号中的时频信息,模型通过设置时间卷积操作来学习频率滤波特征,并为所有EEG通道使用一维卷积核,从而学习每个通道的时间采样特性,通过时频卷积过程,生成的特征为特征F1。

5.根据权利要求3所述的基于DLKA和EEGNet的多模态情绪识别方法,其特征在于,所述步骤S2中,空间模块通过深度卷积和可分离卷积操作提取EEG信号的全局空间特征,将特征F1经过卷积处理后,得到特征F2。

6.根据权利要求3所述的基于DLKA和EEGNet的多模态情绪识别方法,其特征在于,所述步骤S2中,DLKA模块使用两种可变卷积核:Deform-3 Conv2D和Deform-5 Conv2D,分别对应卷积核大小为3×3和5×5,通过使用深度卷积、深度膨胀卷积和1×1的点卷积来构造大卷积核;构建一个通道数为、输入维度为、核大小为的深度卷积层与深度膨胀卷积层,表示输入特征图的高度,表示卷积核大小,深度卷积层与深度膨胀卷积层的核函数如下所示:;

;

其中,表示膨胀卷积的有效窗口大小,表示3D卷积中输入数据的深度,表示膨胀卷积率;当膨胀卷积率大于1时,核函数中的元素不再是连续的,而是通过跳过设定数量的间隔来进行滑动扫描。

7.根据权利要求6所述的基于DLKA和EEGNet的多模态情绪识别方法,其特征在于,所述步骤S2中,DLKA模块中,神经网络的浮点运算量即模型复杂度和参数量计算公式为:;

;

其中,表示输入特征图的高度。

8.根据权利要求7所述的基于DLKA和EEGNet的多模态情绪识别方法,其特征在于,所述步骤S2中,DLKA模块通过最小化确定最优膨胀率,即对关于求导并令导数为零以得到:。

9.根据权利要求8所述的基于DLKA和EEGNet的多模态情绪识别方法,其特征在于,所述步骤S2中,DLKA模块中,在深度卷积中加上,则新的参数量和新的模型复杂度为:;

。

10.根据权利要求9所述的基于DLKA和EEGNet的多模态情绪识别方法,其特征在于,所述步骤S3中,EOG信号包括五类特征数据:瞳孔直径、色散度、注视持续时间、扫视、事件统计,每段情绪触发视频的长度不同,EOG数据也是在不同时间段任务下进行采集,因此每个被试的EOG数据格式:特征记录数×总样本数为31×2505;为了保证EOG信号与EEG信号进行融合,首先对EOG信号进行维度映射,通过数据重构使EOG特征数据与EEG信号保持相同张量维度,将经过同维度变换后的EOG信号与EEG特征信号进行拼接,得到完整的多模态情绪特征,从而输入到后续的深度学习模型中。