1.一种融合多层次声学信息的语音情感识别方法,其特征在于,步骤包括:
S01.预处理:获取待识别语音信号进行预处理,根据预处理后信号得到频谱特征图和梅尔倒谱系数;
S02.特征提取:分别从所述频谱特征图、梅尔倒谱系数中提取频谱特征、MFCC特征,以及对待处理语音信号提取W2E特征;
S03.跨注意融合:将所述频谱特征、MFCC特征和W2E特征输入到跨层次注意力网络中进行融合,得到融合特征输出,所述跨层次注意力网络包括三组跨层次注意力模块,每组所述跨层次注意力模块用于将所述频谱特征、MFCC特征和W2E特征中两种特征采用自注意力进行融合,得到两种特征的融合特征,将三组跨层次注意力模块得到的融合特征进行拼接后得到最终的融合特征;
S04.情感分类:将所述融合特征输入至预先训练好的分类器,得到情感分类结果。
2.根据权利要求1所述的融合多层次声学信息的语音情感识别方法,其特征在于,所述步骤S01包括:S101.对待识别语音信号进行分帧、去除首尾静音以及统一语音长度处理,得到预处理后信号;
S102.对所述预处理后信号进行加窗处理,并对加窗处理后信号进行短时傅里叶变换得到功率谱,根据所述功率谱经过对数运算得到所述频谱特征图,以及将所述功率谱输入到梅尔滤波器组中,经过对数运算和离散余弦变换得到所述梅尔倒谱系数。
3.根据权利要求2所述的融合多层次声学信息的语音情感识别方法,其特征在于,所述步骤S102中,采用如下所示的汉明窗对对所述预处理后信号进行加窗处理:其中,N为帧的数量,n为当前帧数。
4.根据权利要求1所述的融合多层次声学信息的语音情感识别方法,其特征在于,所述步骤S02中,使用二维卷积神经网络从所述频谱特征图中来学习频谱特征,使用长短期记忆网络从所述频谱特征图中学习MFCC特征,以及使用预训练模型提取所述W2E特征。
5.根据权利要求1所述的融合多层次声学信息的语音情感识别方法,其特征在于,每个所述跨层次注意力模块包括三个LN标准化层、一个多头注意力层和一个位置连接层,由第一LN标准化层、第二LN标准化层分别接入所述频谱特征、MFCC特征和W2E特征中任意两种特质,经过处理后输出给所述多头注意力层,所述多头注意力层的输出以及所述第一LN标准化层的输出相加,得到第一累加结果,输出至第三LN标准化层,所述第三LN标准化层的输出经过所述位置连接层后与所述第一累加结果相加,得到当前输入两种特征之间的融合结果。
6.根据权利要求5所述融合多层次声学信息的语音情感识别方法,其特征在于,所述跨层次注意力模块的计算表达式如下所示:其中,α表示频谱特征、MFCC特征和W2E特征中任意一种,β表示除α之外其余两种特征中一种,fθ是有θ参数化的位置全连接层, 表示由β到α的多头注意力,LN表示层标准化。
7.根据权利要求1~6中任意一项所述融合多层次声学信息的语音情感识别方法,其特征在于,所述步骤S04中使用两个softmax分类器将步骤S03得到的融合特征输入到对应分类网络分别进行语音情感和说话人性别分类,其中分类网络的损失按下式计算得到:L=αLCE‑emo+(1‑α)LCE‑gen
其中,LCE‑emo是情感分类任务的交叉熵损失函数,LCE‑gen是性别分类任务的交叉熵损失函数,α为情感识别损失函数的权重系数,通过联合损失L对整个网络进行反向传播和梯度更新。
8.一种融合多层次声学信息的语音情感识别装置,其特征在于,包括:
预处理模块,用于获取待识别语音信号进行预处理,根据预处理后信号得到频谱特征图和梅尔倒谱系数;
特征提取模块,用于分别从所述频谱特征图、梅尔倒谱系数中提取频谱特征、MFCC特征,以及对待处理语音信号提取W2E特征;
跨注意融合模块,用于将所述频谱特征、MFCC特征和W2E特征输入到跨层次注意力网络中进行融合,得到融合特征输出,所述跨层次注意力网络包括三组跨层次注意力模块,每组所述跨层次注意力模块用于将所述频谱特征、MFCC特征和W2E特征中两种特征采用自注意力进行融合,得到两种特征的融合特征,将三组跨层次注意力模块得到的融合特征进行拼接后得到最终的融合特征;
情感分类模块,用于将所述融合特征输入至预先训练好的分类器,得到情感分类结果。
9.一种计算机装置,包括处理器以及存储器,所述存储器用于存储计算机程序,其特征在于,所述处理器用于执行所述计算机程序以执行如权利要求1~7中任意一项所述方法。
10.一种存储有计算机程序的计算机可读存储介质,其特征在于,所述计算机程序执行时实现如权利要求1~7中任意一项所述的方法。