欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020101851196
申请人: 南京工程学院
专利类型:发明专利
专利状态:未下证
专利领域: 乐器;声学
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于域不变的小样本语音情感识别方法,其特征在于,包括如下步骤:步骤A、从不同数据库的原始语音数据样本中提取具有时序信息的语音特征;

步骤B、建立具有处理时序数据能力的LSTM模型,确定待训练的网络参数并初始化;

步骤C、通过多任务学习同时进行情感识别与数据库分类,采用交叉熵建立各自任务的目标损失函数,在任务优先级的基础上,结合各自任务的加权系数,建立总的目标损失函数;

步骤D、对情感识别与数据库分类任务的损失函数分别进行梯度更新,其中,在数据库分类任务的梯度更新中采取梯度取反的对抗学习方法;

步骤E、在梯度反向传播过程中,针对各数据库样本不匹配问题,按各数据库样本比例对共享层进行梯度加权,得到最终的梯度公式;

步骤F、使用由步骤C至步骤D获得的梯度更新算法,在已知数据集上对网络进行预训练,获得网络收敛后的参数;

步骤G、用所述步骤F中预训练好的共享层参数来初始化新的情感模型,并在未知训练集上进行重新训练,然后再对未知小样本测试集进行测试验证,并用召回率对情感识别网络模型的识别性能进行综合评测。

2.根据权利要求1所述的一种基于域不变的小样本语音情感识别方法,其特征在于,所述步骤A中,通过语音帧之间的序列关系保留原始语音数据中的时序信息,从而提取具有时序信息的语音特征。

3.根据权利要求1所述的一种基于域不变的小样本语音情感识别方法,其特征在于,所述步骤A中,具有时序信息的语音特征的维度随原始语音数据的实际长度而变化。

4.根据权利要求1所述的一种基于域不变的小样本语音情感识别方法,其特征在于,所述步骤B中,待训练的LSTM模型参数为遗忘门的权重与偏置、输入控制门的权重与偏置、候选细胞状态的权重与偏置以及输出门的权重与偏置。

5.根据权利要求1所述的一种基于域不变的小样本语音情感识别方法,其特征在于,所述步骤C中,总的目标损失函数为:其中,Le和LD分别为情感识别和数据库分类的目标损失函数, 和 为加权系数。

6.根据权利要求1所述的一种基于域不变的小样本语音情感识别方法,其特征在于,所述步骤D中,针对情感识别任务,梯度更新为:其中, 表示第j个数据库下的情感识别分类任务网络中所有待训练参数,由上层的j私有网络参数θe_private和低层的共享网络参数θshare组成; 为第j个数据库下的情感识别损失函数;

针对数据库分类任务,梯度更新为:

其中, 表示数据库分类任务网络中所有待训练参数,由上层的私有网络参数θD_private和低层的共享网络参数θshare组成;λadversial为对抗因子;LD为数据库分类损失函数。

7.根据权利要求1所述的一种基于域不变的小样本语音情感识别方法,其特征在于,所述步骤E中,最终的梯度公式为:其中,j表示数据库的索引, 是第j个数据库的数据库分类损失函数, 是第j个数据j库下的情感识别损失函数,λ是按数据库样本数量分配的权重系数, 是第j个数据库情感识别任务中上层的私有网络层中的待训练参数。

8.根据权利要求1所述的一种基于域不变的小样本语音情感识别方法,其特征在于,所述步骤G中,召回率的计算方法如下:其中,TP是预测为正,实际为正的样本数量;TN是预测为负,实际为正的样本数量。