欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020108475108
申请人: 南京工程学院
专利类型:发明专利
专利状态:未下证
专利领域: 乐器;声学
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度域自适应网络的助听器语音增强方法,其特征在于,包括以下步骤:S1:建立训练输入样本:分别从带噪语音和干净语音中提取帧级对数功率谱特征LPS,将所有的对数功率谱特征LPS作为输入样本;

S2:构建基线语音增强模型:在深度神经网络中构建基于编码器‑解码器结构的深度学习模型作为基线语音增强模型;其中编码器‑解码器结构为连接的特征编码器和重建解码器;

S3:构建迁移学习语音增强模型:在步骤S2的基线语音增强模型的基础上,构建基于深度域自适应网络的迁移学习语音增强模型;迁移学习语音增强模型在特征编码器和重建解码器之间引入并联连接的域适配层和相对鉴别器;

S4:在训练阶段,采用两种迁移策略训练迁移学习语音增强模型:利用域对抗性损失训练迁移学习语音增强模型,通过域的对抗性引导迁移学习语音增强模型学习域不变特征;

S5:在增强阶段,根据训练后的迁移学习语音增强模型,输入目标域带噪语音的帧级LPS特征,重建增强语音波形,实现语音增强;

所述S4中采用两种迁移策略训练迁移学习语音增强模型,其具体过程为:S41、迁移学习语音增强模型中包括两个流向的训练数据,分别为带标签的源域数据的LPS特征和不带标签的目标域数据的LPS特征,两个流向的训练数据同时输入特征编码器,提取各自的深度特征,在此过程中两个数据共享权重;两个数据同时执行步骤S42、S43和S44,即通过三个模块分别进行计算;

S42、重建解码器计算回归损失:带标签的源域数据Xs被馈送到重建解码器中,重建其LPS特征,然后计算重建的LPS特征与源域标签之间的平均绝对损失MAE作为整个迁移学习语音增强模型的回归损失;该损失用于衡量源域自回归任务的性能,使该损失最小化可以最佳拟合源域数据集;

S43、域适配层计算多核最大均值差异:带标签的源域数据Xs和不带标签的目标域数据XT输入至域适配层中,用于计算多核最大均值差异,通过最小化多核最大均值差异可以使得带标签的源域数据Xs和不带标签的目标域数据XT的分布尽可能地接近,使得特征编码器产生对不同域噪声具有鲁棒性的域不变特征;

S44、相对鉴别器计算相对生成对抗损失:带标签的源域数据Xs和不带标签的目标域数据XT输入到相对鉴别器中,相对鉴别器可以看作源域和目标域之间的二分分类器;两个数据通过相对鉴别器输出的0‑1之间的判决量计算相对生成对抗损失;最小化相对生成对抗损失能够使得相对鉴别器更好地区别带标签的源域数据Xs和不带标签的目标域数据XT;

S45、对迁移学习语音增强模型的参数进行更新:结合步骤S42、S43和S44的计算结果,采用梯度下降法对迁移学习语音增强模型的参数进行更新。

2.根据权利要求1所述的一种基于深度域自适应网络的助听器语音增强方法,其特征在于,所述S2中基线语音增强模型的结构为:基线模型为3层深度神经网络模型,包括依次连接的两层双向长短时记忆网络BLSTM和一层全连接层,前两层双向长短时记忆网络BLSTM分别作为特征编码器与重建解码器,最后一层全连接层作为特征变换的映射层。

3.根据权利要求1所述的一种基于深度域自适应网络的助听器语音增强方法,其特征在于,所述S3中迁移学习语音增强模型的结构为:在基线语音增强模型的编码器‑解码器结构中间引入两个额外的域自适应模块,两个域自适应模块分别是用于计算多核最大均值差异MK‑MMD的域适配层,以及用于计算域对抗性损失的相对鉴别器,所述域适配层和相对鉴别器并列连接;其中域适配层仅用于计算多核最大均值差异MK‑MMD,相对鉴别器包含连接的一层长短时记忆网络LSTM以及一层具有至少一个神经元的全连接层。

4.根据权利要求1所述的一种基于深度域自适应网络的助听器语音增强方法,其特征在于:所述步骤S44中相对鉴别器计算相对生成对抗损失前,在特征编码器和相对鉴别器之间插入梯度反转层GRL,在前向传播即特征编码器向相对鉴别器输入数据时,GRL作为标识层,使输入保持不变;而在反向传播即相对鉴别器向特征编码器输入数据时,相对鉴别器的相对生成对抗损失以反向的权重作用于特征编码器,形成编码器与鉴别器的对抗,通过相对鉴别器和特征编码器之间的极大极小博弈以实现域的迁移,达到特征的域不变性。

5.根据权利要求1所述的一种基于深度域自适应网络的助听器语音增强方法,其特征在于,所述步骤S42中整个迁移学习语音增强模型的回归损失的计算公式为:其中,Lreg为整个迁移学习语音增强模型的回归损失,N为批训练数目,Xs为带标签的源域数据,Y为干净语音的标签,Dec()为重建解码器。

6.根据权利要求1所述的一种基于深度域自适应网络的助听器语音增强方法,其特征在于,所述步骤S43中最小化多核最大均值差异的计算公式为:其中,LMK‑MMD为最小化多核最大均值差异,X,Y分别表示带标签的源域数据Xs和不带标签的目标域数据XT,xi,yj表示X,Y中的具体数据,m,n表示Xs和XT的维度,高斯核函数定义为

7.根据权利要求1所述的一种基于深度域自适应网络的助听器语音增强方法,其特征在于,所述步骤S44中相对生成对抗损失的计算公式为:其中,LD为相对生成对抗损失, 为数据分布的期望,xs为带标签的源域数据中的具体数据,xT为不带标签的目标域数据中的具体数据,σ表示sigmoid函数,其定义为

8.根据权利要求1所述的一种基于深度域自适应网络的助听器语音增强方法,其特征在于,所述步骤S45中对迁移学习语音增强模型的参数进行更新,其计算公式为:其中,α是学习率,Lreg为整个迁移学习语音增强模型的回归损失,LMK‑MMD为最小化多核最大均值差异,LD为相对生成对抗损失,θEnc、θDec和θD分别表示特征编码器、重建解码器以及相对鉴别器的待训练参数,λ和μ分别为相对生成对抗损失和多核最大均值差异的权重参数。

9.根据权利要求1所述的一种基于深度域自适应网络的助听器语音增强方法,其特征在于,所述S4中采用两种迁移策略训练迁移学习语音增强模型,实现从源域噪声类型向目标域噪声类型的迁移;迁移学习方法中的源域噪声类型和信噪比与目标域噪声类型和信噪比互不重叠。