欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021101590858
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.融合注意力机制和DMCCA的多模态情感识别方法,其特征在于,所述方法包括以下步骤:

(1)对经过预处理后的脑电信号和面部表情视频分别使用各自训练好的神经网络模型提取脑电信号特征向量和表情特征向量,对预处理后的外周生理信号,通过抽取信号波形描述符及其统计特征,提取外周生理信号特征向量;

(2)对所述的脑电信号特征向量、外周生理信号特征向量、表情特征向量分别通过线性变换矩阵映射成若干组特征向量,并分别使用注意力机制模块确定不同特征向量组的重要性权重,通过加权融合形成维数相同的有鉴别力的脑电情感特征向量、外周生理情感特征向量、表情情感特征向量;

(3)对所述的脑电情感特征向量、外周生理情感特征向量和表情情感特征向量,使用鉴别多重集典型相关分析(DMCCA)方法,通过最大化同一类别样本的不同模态情感特征之间的相关性,确定各情感特征向量的投影矩阵,并将各情感特征向量投影到一个公共子空间,相加融合后得到脑电‑外周生理‑表情多模态情感特征向量;

(4)使用分类器对多模态情感特征向量进行分类识别,得到情感类别。

2.根据权利要求1所述的融合注意力机制和DMCCA的多模态情感识别方法,其特征在于,步骤(2)包括以下子步骤:(2.1)将步骤(1)提取到的脑电信号特征以矩阵形式表示成(1)

并通过线性变换矩阵W 映射成M1组特征向量

4≤M1≤16 ,每组特征向量的维数为N ,16≤N≤64,令其线性变换表达式为:

(1) (1) T (1)E =(F ) W

其中,上标(1)代表脑电模态,T表示转置符号;

使用第一个注意力机制模块来确定不同特征向量组的重要性权重,通过加权融合形成有鉴别力的脑电情感特征向量,其中第r组脑电信号特征向量的权重 以及脑电情感特征(1)

向量x 表示为:

其中,r=1,2,…,M1, 表示第r组脑电信号特征向量, 为可训练的线性变换参数向量,exp(·)表示以自然常数e为底的指数函数;

(2 .2) 将步骤(1) 提取到的 外周生理信号特征以 矩阵 形式 表示成(2)

并通过线性变换矩阵W 映射成M2组特征向量

4≤M2≤16,令

其线性变换表达式为:

(2) (2) T (2)E =(F ) W

其中,上标(2)代表外周生理模态;

使用第二个注意力机制模块来确定不同特征向量组的重要性权重,通过加权融合形成有鉴别力的外周生理情感特征向量,其中第s组外周生理信号特征向量的权重 以及外周(2)

生理情感特征向量x 表示为:其中,s=1,2,…,M2, 表示第s组外周生理信号特征向量, 为可训练的线性变换参数向量;

(2.3)将步骤(1)提取到的表情特征以矩阵形式表示成(3)

并通过线性变换矩阵W 映射成M3组特征向量

4≤M3≤16,令

其线性变换表达式为:

(3) (3) T (3)E =(F ) W

其中,上标(3)代表表情模态;

使用第三个注意力机制模块来确定不同特征向量组的重要性权重,通过加权融合形成有鉴别力的表情情感特征向量,其中第t组表情特征向量的权重 以及表情情感特征向量(3)

x 表示为:

其中,t=1,2,…,M3, 表示第t组表情特征向量, 为可训练的线性变换参数向量。

3.根据权利要求2所述的融合注意力机制和DMCCA的多模态情感识别方法,其特征在于,步骤(3)包括以下子步骤:(3.1)获取通过训练得到的分别对应于脑电情感特征、外周生理情感特征和表情情感特征的DMCCA投影矩阵

和 32≤d≤128;

(1)

(3.2)分别使用投影矩阵Ω、Φ和Ψ将步骤(2)提取到的脑电情感特征向量x 、外周生(2) (3)

理情感特征向量x 和表情情感特征向量x 投影到一个d维的公共子空间,其中脑电情感(1) T (1) (2)特征向量x 到d维公共子空间的投影为Ωx ,外周生理情感特征向量x 到d维公共子空T (2) (3) T (3)间的投影为Φx ,表情情感特征向量x 到d维公共子空间的投影为Ψx ;

T (1) T (2) T (3)(3.3)将Ω x 、Φx 和Ψx 进行融合,得到脑电‑外周生理‑表情多模态情感特征T (1) T (2) T (3)向量为Ωx +Φx +Ψx 。

4.根据权利要求3所述的融合注意力机制和DMCCA的多模态情感识别方法,其特征在于,步骤(3.1)中的投影矩阵Ω、Φ和Ψ通过以下步骤的训练得到:(3.1.1)从训练样本集中分别抽取各情感类别的训练样本生成3组情感特征向量其中 M为训练样本数,i=1,2,3,m=1,2,…,M;令i=1代表脑电模态,i=2代表外周生理模态,i=3代表表情模态, 代表脑电情感特征向量, 代表外周生理情感特征向量, 代表表情情感特征向量;

(i) (i)

(3.1.2)计算X 中各列向量的均值,对X 进行中心化操作;

(3.1.3)基于鉴别多重集典型相关分析(DMCCA)的思想求得一组投影矩阵Ω、Φ和Ψ,使得同类样本在公共投影子空间的线性相关性最大,同时最大化模态内数据的类间散布与(i)

最小化模态内数据的类内散布,令X 的投影向量为 DMCCA的目标函数为:

(i) (i)

其中, 表示X 的类内散布矩阵, 表示X 的类间散布矩阵,cov(·,·)表示协方差,i,j∈{1,2,3};构建如下优化模型并求解得到投影矩阵Ω、Φ和Ψ:

5.根据权利要求4所述的融合注意力机制和DMCCA的多模态情感识别方法,其特征在于,使用拉格朗日乘子法求解所构建的DMCCA目标函数的优化模型,具体为:将优化模型表示为如下拉格朗日函数:

(1) (2) (3) (1) (2) (3)其中,λ是拉格朗日乘子,再分别求L(w ,w ,w )对w 、w 和w 的偏导数并令其为零,即令

得到

进一步对上式作简化处理,则可获得如下的广义特征值问题:通过求解上式中的广义特征值问题,选取前d个最大特征值λ1≥λ2≥…≥λd对应的特征向量,即可得到投影矩阵

和

6.融合注意力机制和DMCCA的多模态情感识别系统,其特征在于,包括:特征初步提取模块,用于对经过预处理后的脑电信号和面部表情视频分别使用各自训练好的神经网络模型提取脑电信号特征向量和表情特征向量,对预处理后的外周生理信号,通过抽取信号波形描述符及其统计特征,提取外周生理信号特征向量;

特征鉴别增强模块,用于对所述的脑电信号特征向量、外周生理信号特征向量、表情特征向量分别通过线性变换矩阵映射成若干组特征向量,并分别使用注意力机制模块确定不同特征向量组的重要性权重,通过加权融合形成维数相同的有鉴别力的脑电情感特征向量、外周生理情感特征向量、表情情感特征向量;

投影矩阵确定模块,用于使用鉴别多重集典型相关分析(DMCCA)方法,通过最大化同一类别样本的不同模态情感特征之间的相关性,确定各情感特征向量的投影矩阵;

特征融合模块,用于对所述的脑电情感特征向量、外周生理情感特征向量和表情情感特征向量,通过各自对应的投影矩阵投影到一个公共子空间,相加融合后得到脑电‑外周生理‑表情多模态情感特征向量;

以及,分类识别模块,用于使用分类器对多模态情感特征向量进行分类识别,得到情感类别。

7.融合注意力机制和DMCCA的多模态情感识别系统,其特征在于,包括至少一台计算设备,所述计算设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述计算机程序被加载至处理器时实现根据权利要求1‑5任一项所述的融合注意力机制和DMCCA的多模态情感识别方法。