1.基于自注意多核最大均值差异的迁移学习语音增强方法,其特征在于:包括以下步骤,
步骤(A),从原始语音中提取GFCC特征,并作为深度神经网络的输入特征;
步骤(B),利用带噪语音与干净语音信息计算傅里叶变换域的理想浮值掩蔽,并作为深度神经网络的训练目标;
步骤(C),构建基于深层神经网络的语音增强模型,作为基线模型;
步骤(D),根据基线模型,构建自注意多核最大均值差异的迁移学习语音增强模型;
步骤(E),训练阶段,训练步骤(D)构建的自注意多核最大均值差异的迁移学习语音增强模型;
步骤(F),增加阶段,根据训练后的自注意多核最大均值差异的迁移学习语音增强模型,输入目标域带噪语音的帧级特征,重建增强语音波形,其中,步骤(C),构建基于深层神经网络的语音增强模型,作为基线模型,所述基线模型为4层DNN语音增强模型,前两层为特征编码器,后两层为重建解码器;步骤(D),构建自注意多核最大均值差异的迁移学习语音增强模型,是在特征编码器、重建解码器之间增加一层自注意力层,其中不带标签的目标域数据的GFCC特征通过特征编码器后,进行自注意力加权,加权后的特征经过重建解码器请进行理想浮值掩蔽的重构,所述自注意力层的自注意力加权过程如下,(D1),设通过特征编码器的输出是Xfeature_encoder,根据公式(1),计算其的对齐向量align,align=tanh(Xfeature_encoder×W)×V (1)其中,W,V∈RN×N是注意力机制中的待训练参数,N是自注意力层内编码器最后一层隐层单元数,也代表了新的特征空间维度;tanh函数为双曲正切函数,对齐向量的对应分数,如公式(2)所示,score=sigmod(align+ε) (2)其中,ε为可调因子,对齐向量的对应分数score取值在0到1之间;
(D2),根据公式(3),获得新的加权特征
其中,表示hardarm相乘,对于单个样本而言,即是对其各个特征进行加权。
2.根据权利要求1所述的基于自注意多核最大均值差异的迁移学习语音增强方法,其特征在于:步骤(E),训练阶段,训练步骤(D)构建的自注意多核最大均值差异的迁移学习语音增强模型,包括两条训练数据流向,分别为训练带标签的源域数据的GFCC特征和训练不带标签的目标域数据的GFCC特征,具体如下:(E1),两个训练数据流向的数据同时通过两层的特征编码器,通过隐层神经元将输入特征延展到更高维度;
(E2),通过自注意力层后,两条训练数据流向的数据,即源域的自注意特征Asrc与目标域的自注意特征Atar汇集在适应层中计算源域和目标域自注意特征的多核最大均值差异的平方作为整个神经网络损失函数的一部分lD,该lD如公式(4)所示,其中,MMD2[X,Y]为多核最大均值差异的平方;高斯核函数 X和Y分别表示Asrc与Atar,m和n分别表示Asrc和Atar的维度,所使用的高斯核函数总数M为19,其系数σ2分别为:1e-6,1e-5,1e-4,1e-3,1e-2,1e-1,1,5,10,15,20,25,30,35,100,1e3,1e4,1e5,1e6;
(E3),带标签的源域自注意特征Asrc在经过适应层后会继续输入重建解码器中进行理想浮值掩蔽的重构,如公式(5)所示,
其中,θIRM_en为重建解码器层对应的网络参数,利用重构的理想浮值掩蔽 和源域标签信息Y,计算平均绝对误差mae,作为整个神经网络损失函数的另一部分lG,如公式(6)所示,其中,mae为平均绝对误差计算函数;
(E4),整个神经网络损失函数l,如公式(7)所示,l=lG+ω*lD (7)其中,ω为权重,用来调节二者对抗程度的参数。
3.根据权利要求1所述的基于自注意多核最大均值差异的迁移学习语音增强方法,其特征在于:步骤(F),增加阶段,根据训练后的自注意多核最大均值差异的迁移学习语音增强模型,输入目标域带噪语音的帧级特征,重建增强语音波形,是利用目标域带噪语音中的相位信息通过反向傅里叶变换得到增强语音的时域波形,并通过重叠相加算法合成得到整个增强语音波形。