1.一种基于深度自编码器子域自适应跨库语音情感识别方法,其特征在于,包括以下步骤:
(1)语音预处理:将源域语料库中的语音数据按对应的情感分类标记数字标签,而目标域数据库不做标签处理,之后对其进行分帧及加窗,为下一步提取特征做准备;
(2)语音特征提取:对步骤(1)预处理完毕后的语音数据,提取语音情感特征,该特征包括但不限于MFCC、短时平均过零率、基频、均值、标准差、最大最小值等;
(3)特征压缩:将步骤(2)得到的语音特征输入两个深度自编码器,其中一个自编码器提取源域数据特征,进行有监督学习,另一个为辅助性自编码器,用来无监督学习目标域数据特征;假设自编码的输入为x,编码阶段的输入用y表示,relu()和elu()为非线性激活函数,则编码过程表示如下:
y=f(wx+b) (1)从而获取源域和目标域在低维空间中的情感表示;
(4)特征分布对齐:将步骤(3)得到的低维特征输入子域自适应模块,该模块度量了在考虑不同样本权重的情况下,源域相关子域经验分布核均值嵌入与目标域核均值嵌入之间的Hilbert Schmidt范数,实现了源域和目标域在不同情感空间中的特征分布对齐;该算法实现如下:
(5)训练模型:整个网络训练是通过梯度下降法不断优化训练的,由带标签数据计算的交叉熵作为分类loss,两个自编码器的重构loss,以及域自适应层中基于MMD度量准则的子域自适应loss组成总的损失函数一起优化训练网络参数;整个网络的损失函数表示为:loss=loss重构1+loss重构2+loss分类+lossMMD (5)(6)重复步骤(3)、(4),迭代训练网络模型;
(7)利用步骤(6)训练好的网络模型,使用sofmatx分类器识别步骤(2)中的目标域数据集,最终实现语音情感在跨语料库条件下的情感识别。