1.一种基于知识蒸馏的语音情感分类方法,包括:将样本文本数据预处理后输入向量提取网络提取文本词嵌入向量,得到文本词嵌入向量;
将所述文本词嵌入向量输入预设的分类模型,得到文本情感分类软标签;
将样本文本数据进行语音合成转换,得到TTS语音数据;
将所述TTS语音数据输入语音特征提取模块,得到语音特征的梅尔频率倒谱系数表示向量;
将所述TTS语音数据输入特征提取网络,得到语音时域及频域特征;
将所述语音时域及频域特征输入预设的分类模型,使用交叉熵损失函数对预设的分类模型进行语音情感分类预测训练;
将所述文本情感分类软标签输入所述预设的分类模型并使用预设的知识蒸馏损失函数进行语音情感分类预测训练,使所述TTS语音数据的情感类别预测趋近于所述样本文本数据的情感分布,得到训练后的分类模型;
使用训练后的分类模型对输入的语音数据进行语音情感分类。
2.根据权利要求1所述的方法,其中所述向量提取网络为BERT模型。
3.根据权利要求1所述的方法,其中所述特征提取网络为CNN+LSTM模型。
4.根据权利要求1所述的方法,其中对所述样本文本数据进行预处理为:对给定样本文本数据序列的开头和结尾处分别加上标签“[CLS]”和“[SEP]”。
5.根据权利要求1所述的方法,其中所述交叉熵损失函数包括学生模型交叉熵损失函数和教师模型交叉熵损失函数。
6.根据权利要求5所述的方法,其中所述学生模型交叉熵损失函数为:其中,J是样本类别个数,yi,j∈{0,1是第i个样本Pi的第j类实际标签值, 是学生模型对第i个样本Pi的第j类预测概率值。
7.根据权利要求6所述的方法,其中所述教师模型交叉熵损失函数为:其中,J是样本类别个数, 是教师模型对第i个样本Pi的第j类预测软化标签值。
8.根据权利要求7所述的方法,其中所述预设的知识蒸馏损失函数为:A 2 T
L=L+T*L*weightd
其中,weightd为知识蒸馏的权重参数,T为温度系数。