欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025109786272
申请人: 河海大学
专利类型:发明专利
专利状态:已下证
专利领域: 医学或兽医学;卫生学
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于注意力机制的多模态信号融合情绪识别方法,其特征在于,该方法包括以下步骤:S1. 对多模态生理信号进行统一的预处理,所述多模态生理信号包括脑电信号EEG和其它模态信号EXG,所述预处理是先将多模态生理信号进行基线校准,然后做分段处理,最后使用进行min-max进行归一化操作;

S2. 构建EEG多通道注意力模块,根据步骤S1预处理后得到的EEG信号,通过注意力机制强化关键通道特征;

S3. 根据步骤S1和步骤S2的输出,采用卷积神经网络,构建局部时间滤波器、空间滤波器和深度可分离时空卷积核分别对脑电信号EEG和其它模态信号EXG进行特征提取;

S4. 根据步骤S3特征提取得到EEG和EXG的特征向量,构建共享-私有编码器,显式建模EEG和EXG间的共享特征和模态内的特有性特征;

S5. 根据步骤S4得到EEG和EXG间的共享特征和各自的特有性特征,利用跨模态的交叉注意力机制,以共享特征为交互媒介,引导EEG和EXG两个模态私有特征在深层结构中进行多轮信息交互,融合双模态特征;

S6. 采用联合学习方法训练由S1-S5构成的基于注意力机制的多模态信号融合网络,网络用Adam优化器,初始学习率设置为0.001,并用余弦退火动态调整学习率。

2.根据权利要求1所述的一种基于注意力机制的多模态信号融合情绪识别方法,其特征在于,步骤S1所述的对多模态生理信号进行统一的预处理具体包括如下过程:S1.1. 将多模态生理信号进行基线校准,基线校准是将情绪激发阶段的信号值减去正常状态下的信号值,从而得到情绪激发的变化值;

S1.2. 分别对EEG和EXG信号做分段处理,选取1s为窗口,重叠率是25%;

S1.3. 分别对EEG和EXG信号使用进行min-max进行归一化操作,公式如下:,

式中,表示归一化后的信号,表示原始信号,表示原始信号最小值,表示原始信号最大值;

预处理后的脑电信号EEG记作,其中C是脑电信号EEG的电极数量,是脑电信号EEG的采样率;预处理后的其它模态信号EXG记作,其中是EXG的电极数量,是EXG的采样率。

3.根据权利要求1所述的一种基于注意力机制的多模态信号融合情绪识别方法,其特征在于,步骤S2所述的构建EEG多通道注意力模块,方法如下:S2.1.对时间维度进行全局平均池化,得到每个通道的全局特征,形状为(C,1),其中C是EEG的电极数量;

S2.2.用1x1的点卷积对全局特征进行变换,增强全局特征表达能力,并将全局特征展平,得到长度为的通道特征张量;

S2.3.通过Softmax函数计算注意力权重,之后通过扩展得到每个样本通道之间的关系矩阵;S2.4.构建单位矩阵,其中是单位矩阵;是可学习的参数矩阵,用于动态调整通道间的关系,接着构建通道间的图关联矩阵:;

S2.5.使用1D卷积和ReLU激活函数对全局特征进行非线性变化,增强全局特征表达;

S2.6.将关联矩阵与S2.1中的全局特征做矩阵相乘,得到形状同为(C,1)的通道注意力分数向量;

S2.7.使用sigmoid函数将通道的注意力分数向量约束在0-1之间,最后通过矩阵乘法实现图卷积操作,对通道特征进行加权融合。

4.根据权利要求1所述的一种基于注意力机制的多模态信号融合情绪识别方法,其特征在于,步骤S3所述的卷积神经网络,具体网络设置如下:第一层是时序滤波器:采用卷积核大小为(1,Fs/2)的2D卷积,其中,Fs表示脑电信号EEG的采样率,根据奈奎斯特-香农采样定理,卷积核长度为数据采样率的一半,捕获2HZ及以上的频率信息,提取到所有可用频率的信号分量;

第二层是空间滤波器:使用卷积核大小为(C,1)的深度卷积,通过深度卷积操作;

第三层是平均大小为(1,4)的池化层;

第四层是沿着特征图维度使用批量归一化,应用指数线性单元ELU激活函数加快收敛速度,并且使用dropout技术,概率p取0.25,具体含义就是让该层的神经元有25%的概率失去激活能力,从而被丢弃用于有效控制过拟合问题;

第五层使用卷积核大小为(1,Fs/8)的深度可分离卷积,用于提取更深层的时空特征;

第六层是进行与第四层相同的批量归一化、指数线性单元激活和dropout技术,最后得到长度为128的特征向量,EEG的特征向量记作:,EXG的特征向量记作:。

5.根据权利要求1所述的一种基于注意力机制的多模态信号融合情绪识别方法,其特征在于,步骤S4的具体方法如下:S4.1.根据模态不变性原理,假设多模态信号具有不变性特征和特有性特征表示,设计如下三个编码器:共享编码器、EEG模态私有编码器、EXG模态私有编码器,分别提取EEG和EXG两个模态的共享,即不变特征、EEG模态的特有性特征和EXG模态的特有性特征,三个编码器的符号分别记作:、、;

S4.2.将EEG模态和EXG模态的特征向量拼接,输入至共享编码器,得到模态的共享特征,其中 表示将EEG模态和EXG模态的特征向量进行拼接,将EEG的特征向量输入至EEG模态私有编码器得到EEG模态的特有性特征,同理,将EXG的特征向量输入至EXG模态私有编码器得到EXG模态的特有性特征;

S4.3.构建重构任务,设置和共享编码器对称的解码器,利用共享特征对EEG模态和EXG模态的特征向量进行重构,重构损失使用MSE损失函数;所述的MSE损失函数计算公式如下:,其中n是y的维度大小,表示重构前的原特征,表示重构特征;

S4.4.为了区分共享特征和特有性特征,采用正交性约束损失函数,使得在特征空间中,模态的共享特征和特有性特征尽量互相正交;所述正交性约束损失函数的计算:,其中是矩阵范数,上标T表示转置。

6.根据权利要求5所述的一种基于注意力机制的多模态信号融合情绪识别方法,其特征在于,步骤S5的跨模态的交叉注意力机制采用Transformer的基础架构,通过线性变换得到Query查询向量和Key键向量、Value值向量,之后根据Query和Key计算自注意力分数,并将其与Value相乘,与输入做残差连接,输入至批量归一化和前馈神经网络,与自注意力不同,跨模态注意力的Query查询向量和Key键向量、Value值向量的来源不同,具体如下:S5.1.对共享特征进行线性变换,得到双流交叉注意力模块的K矩阵和V矩阵:,

,

,

,

其中,K表示键向量,V表示值向量,S表示共享特征,b表示偏置,W表示线性变换矩阵,Q表示查询向量,上标e表示EEG模态,上标m表示EXG模态,下标i表示不同支流,下标0表示EEG支流,下标1表示EXG支流;

S5.2.计算跨模态交叉注意力权重:

,

其中,是Q张量的总维度;

S5.3.将计算出的注意力分数与V相乘得到每层的输出;

S5.4.经过批量归一化和前馈神经网络层,即2个全连接层,使用ReLU激活函数,保持形状维度不变,以便进行残差连接;

S5.5.每条支流设置3个Transformer块,每个块进行S5.2-S5.4的计算,针对EEG和EXG模态共设计两条支流,每条支流以共享特征为交互媒介,引导各自模态的特有性特征在Transformer块中进行多轮信息融合;

S5.6.最后将两个支流的输出向量拼接,输入至分类网络中,进行二分类或多分类任务。

7.根据权利要求5所述的一种基于注意力机制的多模态信号融合情绪识别方法,其特征在于,步骤S6.所述联合学习方法训练总的损失函数是:,其中,是情绪分类任务的损失函数,超参数和是决定各正则化项对总体损失贡献权重的参数,基于网格搜索超参数调优的方法,选定==0.2。