1.一种基于样本均衡和最大均值差异的跨库语音情感识别方法,包含以下步骤:(1)语音预处理:对时域连续采样的语音信号进行分帧、加窗及短时离散傅里叶变换处理,提取语谱图,语谱图直观的反映了各个时刻语音频率成分的能量强弱,包含了丰富的语音情感信息;
(2)特征提取:步骤(1)提取到的语谱图是一维语音信号在二维时域和频域上的展开,利用Alexnet在语谱图上提取深度特征;
(3)特征对齐:将步骤(2)中生成的特征矩阵输入MMD模块,此模块将源域和目标域特征映射到再生希尔伯特空间,寻找映射函数(4)样本均衡:步骤(2)中的特征矩阵在经过Softmax处理后成为预测矩阵P其中,Q为batchsize除以分类数j所得的商,R为batchsize除以分类数j所得的余数,D的维度为分类数j列乘以(5)模型训练:将步骤(1)得到的语谱图直接输入Alexnet网络,将源域和目标域的特征进行MMD度量,得到特征分布差异损失LL
(6)重复步骤(2)(3)(4),优化网络模型参数;
(7)经过迭代后,得到最优模型,实现跨库语音情感识别性能的提升。