欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020110191759
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于子空间稀疏特征融合的多模态情感识别方法,其特征在于,包括:

1)获取被识别对象当前的多种模态的特征序列;

2)将多种模态的特征序列进行字级对齐和规范化处理;

3)将被识别对象的多种模态的特征序列分别通过位置编码得到引入位置信息的特征序列,然后分别将各个模态下引入位置信息的特征序列输入对应的多分支稀疏注意力模块得到各个模态对应的高维特征;

4)将各个模态对应的高维特征分解至低维特征子空间得到低维特征,为多个低维特征赋予相应的权重,然后基于权重将所有低维特征在低维特征子空间进行级联,得到级联后的低维特征;

5)将级联后的低维特征通过多分支稀疏注意力网络中训练得到融合后的多模态信息;

6)将融合后的多模态信息输入预先训练好的情感分类器,得到被识别对象当前的情感类别,所述情感分类器被预先训练建议了融合后的多模态信息、情感类别之间的映射。

2.根据权利要求1所述的基于子空间稀疏特征融合的多模态情感识别方法,其特征在于,步骤1)中多种模态的特征包括文本特征序列、音频特征序列和视频特征序列。

3.根据权利要求2所述的基于子空间稀疏特征融合的多模态情感识别方法,其特征在于,步骤2)的步骤包括:将音频特征序列和视频特征序列按照文本特征序列进行对齐,记录第i个单词的起始时间和结束时间,分别平均音频特征序列和视频特征序列相应时间段内的特征,并将对齐后的文本特征序列、音频特征序列和视频特征序列进行归一化处理到[0,

1]范围内,最后限制文本内容长度,超出部分进行截取,不足部分进行补0,统一文本特征序列、音频特征序列和视频特征序列的特征维度分别为(20,300)、(20,74)、(20,35)。

4.根据权利要求1所述的基于子空间稀疏特征融合的多模态情感识别方法,其特征在于,步骤3)中位置编码的函数表达式如下式所示:上式中,pos表示单个特征在输入的特征序列X中的位置,i表示特征所在维度,d代表总的特征维度,PE(pos,2i)表示位置编码矩阵PE中位置pos的维度2i的位置编码,PE(pos,2i+1)表示位置pos的维度2i+1的位置编码,X0表示输入的特征序列,X表示引入位置信息的特征序列,PE表示位置编码矩阵。

5.根据权利要求2所述的基于子空间稀疏特征融合的多模态情感识别方法,其特征在于,步骤3)中的多分支稀疏注意力模块对输入的引入位置信息的特征序列的处理步骤包括:首先针对输入的引入位置信息的特征序列进行多头降维、提取稀疏注意力SparseAttention,同时针对输入的引入位置信息的特征序列通过卷积层提取引入位置信息的特征序列的局部相关性并通过门控线性单元进行激活输出,然后将提取得到的多头特征、门控线性单元激活输出的结果进行相加,得到各个模态对应的高维特征;

其中,进行多头降维是指根据下式将其投影至6个不同的特征空间中,得到投影至6个不同的特征空间中的查询特征、键特征、值特征:上式中,Wiq、Wik、Wiv分别为查询权重矩阵、键权重矩阵、值权重矩阵,Xiq、Xik、Xiv分别为投影至6个不同的特征空间中的查询特征、键特征、值特征;

其中,提取稀疏注意力SparseAttention是指针对投影至6个不同的特征空间中的查询特征、键特征、值特征根据下式计算第i个特征空间中的稀疏注意力头headi:上式中,headi为第i个特征空间中的头,SparseAttention为稀疏注意力计算网络,Xiq、Xik、Xiv分别为投影至第i个特征空间中的查询特征、键特征、值特征,dk为输入特征序列的维q kT q kT度,sparse(XiXi )为稀疏相似性矩阵,且计算稀疏相似性矩阵sparse(XiXi )的函数表达式为:上式中,X为输入的特征序列,M为输入特征的相似度矩阵,softmax表示softmax函数,q k vXi、Xi 、Xi 分别为投影至第i个特征空间中的查询特征、键特征、值特征,Τ为中间变量,sigmoid表示sigmoid函数,linear为线性函数,pool()大小为2*2、步长为1的池化窗口,CNN()表示卷积核大小为1*1、步长为1的卷积操作,linear线性函数根据池化后的激活值回归稀疏注意力的阈值;

然后将各个特征空间中的头headi采用下式级联到得到的多头特征:

上式中,MultiHead(Xiq、Xik、Xiv )为得到的多头特征,concat为特征维度上的级联操作,head1~head6分别为第1~6个特征空间中的头,WO为输出权重矩阵;

其中,门控线性单元激活输出的结果的函数表达式如下式所示:

上式中,W、V为不同的卷积核,b、c为偏置参数,X为输入的引入位置信息的特征序列,hl(X)为门控线性单元激活输出的结果。

6.根据权利要求2所述的基于子空间稀疏特征融合的多模态情感识别方法,其特征在于,步骤4)中将各个模态对应的高维特征分解至低维特征子空间得到低维特征的函数表达式为:上式中,XiL、XiA、XiV分别为各个模态在低维特征子空间中的低维特征,XfL、XfA、XfV分别为包含上下文信息的三个单模态特征,WiL、WiA、WiV分别为三个模态对应的降维矩阵;

步骤4)中为多个低维特征赋予相应的权重时,多个低维特征的权重满足:

αi + βi + γi=1,i=1,2,…,6

上式中,αi,βi,γi分别为低维特征赋予的权重;

步骤4)中基于权重将所有低维特征在低维特征子空间进行级联的函数表达式为:上式中,Fi表示第i个低维特征子空间级联后的低维特征,αi,βi,γi分别为低维特征赋L A V予的权重,Xi、Xi、Xi 分别为各个模态在低维特征子空间中的低维特征。

7.根据权利要求6所述的基于子空间稀疏特征融合的多模态情感识别方法,其特征在于,步骤5)的步骤包括:

1)根据下式计算多分支稀疏注意力网络的头;

上式中,headif表示多分支稀疏注意力网络的第i个头,SparseAttention为分支稀疏注意力网络,Fi表示第i个低维特征子空间级联后的低维特征;

2)根据下式计算融合后的多模态信息;

上式中,Ff表示融合后的多模态信息,MultiHead(F,F,F)表示针对级联后的低维特征的多头计算,head1f~head6f为多分支稀疏注意力网络的第1~6个头,WfO为输出权重矩阵。

8.根据权利要求7所述的基于子空间稀疏特征融合的多模态情感识别方法,其特征在于,步骤5)中的情感分类器为由全连接层和softmax函数构成,其中全连接层的计算函数表达式为:Y=WFf+B

上式中,Ff表示融合后的多模态信息,B为相应的偏置,W为所有神经元的权重,Y为全连接层的输出,Y的维度为情感类别数;

其中,softmax函数的计算函数表达式为:

上式中,yi为第i个情感类别的概率,softmax函数为归一化指数函数,Yi为第i个情感类别对应全连接层的输出,Yj为第j个情感类别对应全连接层的输出,N为情感类别数。

9.一种基于子空间稀疏特征融合的多模态情感识别系统,包括计算机设备,该计算机设备至少包括微处理器和存储器,其特征在于,所述微处理器被编程或配置以执行权利要求1~8中任意一项所述基于子空间稀疏特征融合的多模态情感识别方法的步骤,或者所述存储器中存储有被编程或配置以执行权利要求1~8中任意一项所述基于子空间稀疏特征融合的多模态情感识别方法的计算机程序。

10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质中存储有被编程或配置以执行权利要求1~8中任意一项所述基于子空间稀疏特征融合的多模态情感识别方法的计算机程序。