欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020110415209
申请人: 南京工程学院
专利类型:发明专利
专利状态:未下证
专利领域: 乐器;声学
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多头注意力机制的语音情感识别方法,其特征在于,包括以下步骤:S1、从原始语音数据样本中提取具有时序信息的帧级语音特征;

S2、建立具有处理时序数据能力的LSTM模型,将步骤S1中具有时序信息的语音特征输入LSTM模型;

S3、利用多头注意力机制对LSTM模型的输出在时间维度上进行注意力加权,结合LSTM模型所有时刻输出的矩阵和最后时刻的输出,得到时间维度加权后的输出;

S4、利用多头注意力机制对LSTM模型的输出在特征维度上进行注意力加权,结合LSTM模型所有时刻输出的矩阵,得到特征维度加权后的输出;

S5、将时间维度加权后的输出和特征维度加权后的输出拼接后输入全连接层,再经过softmax层得到语音情感类别;

S6、用已知的原始语音数据样本及其语音情感类别对如步骤S1至S5中所述的情感识别模型进行训练,并对训练好的情感识别模型进行测试验证,评测识别性能;

S7、将未知的原始语音数据样本输入训练好的情感识别模型,输出对应的语音情感类别。

2.根据权利要求1所述的一种基于多头注意力机制的语音情感识别方法,其特征在于,步骤S3中利用多头注意力机制对LSTM模型的输出在时间维度上进行注意力加权,包括如下步骤:S31、计算LSTM模型所有时刻输出的矩阵和最后时刻的输出分别在每个线性子空间中的投影:T_Ki=oall_time*T_Wi,k+T_bi,k

T_Qi=omax_time*T_Wi,q+T_bi,q

其中,*表示矩阵乘法;oall_time表示LSTM模型所有时刻输出的矩阵,omax_time表示LSTM模型最后时刻的输出; 和 分别表示oall_time和omax_time在第i个线性子空间线性变换中的权重,i表示线性子空间的索引,共计有h个线性子空间,N表示LSTM模型的隐层单元数量;T_bi,k和T_bi,q分别表示oall_time和omax_time在第i个线性子空间线性变换中的偏置;T_Ki和T_Qi分别表示oall_time和omax_time在第i个线性子空间中的投影;

S32、计算每个线性子空间中时间维度的加权系数:

H

T_scorei=softmax(T_Qi*T_Ki)

其中,T_scorei表示第i个线性子空间中时间维度的加权系数,softmax()表示归一化指数函数;

S33、计算每个线性子空间中待加权的值:

T_Vi=oall_time*T_Wi,v+T_bi,v

其中,T_Vi表示第i个线性子空间中待加权的值;T_Wi,v表示第i个线性子空间求待加权的值时的权重;T_bi,v表示第i个线性子空间求待加权的值时的偏置;

S34、计算每个线性子空间的输出,并将所有线性子空间的输出拼接在一起,得到时间维度加权后的输出:T_outputi=T_scorei*T_Vi

T_Output=Concat(T_output1,...,T_outputh)其中,Concat()用于连接两个或多个数组;T_outputi表示第i个线性子空间的输出;T_Output表示时间维度加权后的输出。

3.根据权利要求1所述的一种基于多头注意力机制的语音情感识别方法,其特征在于,步骤S4中利用多头注意力机制对LSTM模型的输出在特征维度上进行注意力加权,包括如下步骤:S41、计算LSTM模型所有时刻输出的矩阵和最后时刻的输出分别在每个线性子空间中的投影:F_Ki=oall_time*F_Wi,k+F_bi,k

其中,*表示矩阵乘法;oall_time表示LSTM模型所有时刻输出的矩阵;F_Wi,k表示oall_time在第i个线性子空间线性变换中的权重;F_bi,k表示在第i个线性子空间线性变换中的偏置;F_Ki表示oall_time在第i个线性子空间中的投影;

S42、计算每个线性子空间中特征维度的加权系数:

F_scorei=softmax(tanh(F_Ki)*F_Wscore+F_bscore)其中,F_scorei表示第i个线性子空间中特征维度的加权系数,采用了自注意力算法获取,F_Wscore与F_bscore分别表示自注意力算法的权重与偏置;softmax()表示归一化指数函数;

S43、计算每个线性子空间中待加权的值:

F_Vi=oall_time*F_Wi,v+F_bi,v

其中,F_Vi表示第i个线性子空间中待加权的值;F_Wi,v表示第i个线性子空间求待加权的值时的权重;F_bi,v表示第i个线性子空间求待加权的值时的偏置;

S44、计算每个线性子空间的输出,并将所有线性子空间的输出拼接在一起,在时间维度上求和,得到特征维度加权后的输出:其中,表示Hadamard乘积;Concat()用于连接两个或多个数组;F_outputi表示第i个线性子空间的输出;F_Output表示特征维度加权后的输出。

4.根据权利要求1所述的一种基于多头注意力机制的语音情感识别方法,其特征在于,步骤S2中,LSTM模型的计算方法如下:ft=σ(Wfh*ht-1+Wfx*xt+Wfc*Ct-1+bf)it=σ(Wih*ht-1+Wix*xt+Wic*Ct-1+bi)ot=σ(Woh*ht-1+Wox*xt+Woc*Ct+bo)其中,*表示矩阵乘法,表示Hadamard乘积;Wfh、Wfc、Wfx分别为遗忘门ft的隐层输出、细胞状态与输入的权值,bf为遗忘门ft的偏置;Wih、Wic、Wix分别为信息更新值it的隐层输出、细胞状态与输入的权值,bi为信息更新值it的偏置;Wch、Wcx分别为细胞状态更新值 的隐层输出与输入的权值,bc为细胞状态更新值 的偏置;Woh、Wox、Woc分别为输出值ot的隐层输出、输入与细胞状态的权值,bo为输出值ot的偏置;ht、xt、Ct分别表示t时刻的隐层输出、输入与细胞状态。

5.根据权利要求1所述的一种基于多头注意力机制的语音情感识别方法,其特征在于,步骤S5中,全连接层的输入为Concat(T_output,F_Output),其中T_Output表示时间维度加权后的输出,F_Output表示特征维度加权后的输出。

6.根据权利要求1所述的一种基于多头注意力机制的语音情感识别方法,其特征在于,步骤S6中,用召回率对情感识别模型进行测试验证:其中,recall为召回率;TP是预测为正,实际为正的数量;TN是预测为负,实际为正的数量。

7.根据权利要求1所述的一种基于多头注意力机制的语音情感识别方法,其特征在于:步骤S1中,提取的语音特征通过语音帧之间的序列关系保留了原始语音数据样本中的时序信息,且语音特征的维度随原始语音数据样本的实际长度而变化。