欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021113082974
申请人: 河南工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 乐器;声学
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于一维卷积自编码器与对抗域自适应的跨库语音情感识别方法,包含以下步骤:(1)语音预处理:提取原始语音信号中的基频,梅尔倒频谱和线谱对语音特征作为特征处理网络的输入;

(2)特征处理:将步骤(1)提取到的一维统计特征送入一维卷积自编码器中,首先利用卷积层对特征进行处理,然后利用转置卷积层对特征进行还原,将还原后的语音特征与原始特征构造重构误差,其中训练库分类损失、卷积过程、反卷积过程以及重构损失定义如下:Lcls=Lce(yp,ys) (1)

其中yp为网络输出预测情感标签,ys为真实情感标签,Lce为交叉熵函数,其中[Xj1,Xj2,...,Xjs]为相邻的统计特征,Y(j)为卷积联合后得到的结果,K和b分别为卷积过程中的权重和偏置,其中XR和X分别重构后得到的特征与原始特征;

(3)特征分布对齐:将步骤(2)中编码器输出的特征送入对抗域自适应模块的域鉴别器中,通过混淆域鉴别器对齐训练库和测试库的特征分布,并采用MMD同时度量训练库和测试库的统计差异,域鉴别器损失和MMD距离如下:其中F为特征处理网络,D为域鉴别器,di为测试库的真实域标签,其中H为再生希尔伯特空间,用于寻找特征映射函数φ,使得训练库和测试库经过映射后特征分布距离最小;

(4)模型训练:将步骤(1)得到的一维统计特征输入特征处理网络,得到分类损失Lcls和重构损失Lreloss,将卷积自编码器中编码器提取到的具有强表征能力的特征送入域鉴别器,得到对抗损失Ladv,并使用MMD进行统计差异最小化,得到MMD损失LMMD,联合这些损失对模型进行优化:Lall=Lcls+Ladv+LMMD+Lreloss_s+Lreloss_t (7)Lreloss_s为训练库的重构损失,Lreloss_t为训测试库的重构损失;

(5)重复步骤(2)(3)(4),优化网络模型参数;

(6)经过迭代后,得到最优模型,实现跨库语音情感识别性能的提升。