1.一种结合听损补偿和语音降噪的语音增强方法,其特征在于,包括如下步骤:S1:通过短时傅里叶变换从带噪训练语音中提取复频谱图特征;
S2:将听力损失图沿频率轴进行延展嵌入得到听力损失谱,并将听力损失谱与步骤S1中得到的带噪训练语音的复频谱图特征叠合;
S3:构建基于频率-时间卷积递归的度量生成对抗网络模型,模型主体结构包含补偿生成器和度量鉴别器;
S4:交替训练补偿生成器与度量鉴别器,通过对抗损失以及与感知质量相关的补偿损失优化度量生成对抗网络模型;
S5:将待测语音的复频谱图特征与听力损失谱叠合后输入到训练好的补偿生成器,根据补偿生成器的输出重建待测语音的增强语音波形。
2.根据权利要求1所述的一种结合听损补偿和语音降噪的语音增强方法,其特征在于,所述步骤S2包括:首先对听力损失图进行傅里叶变换,之后分别在[250, 500, 1000, 2000, 4000,8000]Hz频率上采样得到6维听力损失图增益,对于每一维听力损失图增益,将其归一化后作为每一个频率区间的增益值,最后形成听力损失谱;
听力损失谱再与带噪训练语音的复频谱图特征叠合以取得频率区间上的对齐。
3.根据权利要求1所述的一种结合听损补偿和语音降噪的语音增强方法,其特征在于,补偿生成器中包括卷积编码器、频率-时间递归处理模块和卷积解码器;
所述步骤S3包括:
S31:构建补偿生成器的卷积编码器,卷积编码器使用5个卷积块来沿频率轴对其输入特征提取局部模式并降低特征分辨率,每个卷积块包括一个二维卷积层以及卷积层后依次设置的批归一化处理和PReLU激活函数;
卷积编码器的输入即为补偿生成器的输入;
S32:构建补偿生成器的频率-时间递归处理模块,频率-时间递归处理模块包括具有相同结构的第一递归处理模块和第二递归处理模块;
第一递归处理模块的输入为卷积编码器的输出,第一递归处理模块首先对其输入特征按时间轴进行切片,按帧独立地通过BLSTM网络建模频率轴的相关性,BLSTM网络后依次设置全连接层和归一化层进行后置处理,后置处理后得到的特征与第一递归处理模块的输入特征叠加构成第一特征;
然后对第一特征按频率轴进行切片,利用LSTM网络对每个频率流的时间相关性建模,LSTM网络后依次设置全连接层和归一化层进行后置处理,后置处理后得到的特征与第一特征叠加构成第一递归处理模块的输出;
第二递归处理模块的输入为第一递归处理模块的输出,第二递归处理模块首先对其输入特征按时间轴进行切片,按帧独立地通过BLSTM网络建模频率轴的相关性,BLSTM网络后依次设置全连接层和归一化层进行后置处理,后置处理后得到的特征与第二递归处理模块的输入特征叠加构成第二特征;
然后对第二特征按频率轴进行切片,利用LSTM网络对每个频率流的时间相关性建模,LSTM网络后依次设置全连接层和归一化层进行后置处理,后置处理后得到的特征与第二特征叠加构成第二递归处理模块的输出;
第二递归处理模块的输出即为频率-时间递归处理模块的输出;
S33:构建补偿生成器的卷积解码器,卷积解码器是卷积编码器的镜像,使用5个卷积块将其输入特征恢复到卷积编码器的输入特征大小,每个卷积块包括一个二维转置卷积层以及转置卷积层后依次设置的批归一化处理和PReLU激活函数;
卷积编码器的输出和频率-时间递归处理模块的输出在通道维度上拼接后,输入卷积解码器;卷积编码器的第四个卷积块的输出和卷积解码器的第一个卷积块的输出在通道维度上拼接后,输入卷积解码器的第二个卷积块;卷积编码器的第三个卷积块的输出和卷积解码器的第二个卷积块的输出在通道维度上拼接后,输入卷积解码器的第三个卷积块;卷积编码器的第二个卷积块的输出和卷积解码器的第三个卷积块的输出在通道维度上拼接后,输入卷积解码器的第四个卷积块;卷积编码器的第一个卷积块的输出和卷积解码器的第四个卷积块的输出在通道维度上拼接后,输入卷积解码器的第五个卷积块;
卷积解码器的输出即为补偿生成器的输出;
S34:构建度量鉴别器,首先通过4个二维卷积块对其输入特征进行特征提取,每个二维卷积块由依次连接的一个二维卷积层、一个实例归一化层和PReLU激活函数构成,在第四个二维卷积块之后,进行全局平均池化操作,最后再通过两个全连接层和sigmoid函数激活输出。
4.根据权利要求3所述的一种结合听损补偿和语音降噪的语音增强方法,其特征在于,卷积解码器的第一个卷积块、第二个卷积块、第三个卷积块、第四个卷积块、第五个卷积块的转置卷积层的卷积核大小和步长分别与卷积编码器的第五个卷积块、第四个卷积块、第三个卷积块、第二个卷积块、第一个卷积块的卷积层的卷积核大小和步长相同。
5.根据权利要求1所述的一种结合听损补偿和语音降噪的语音增强方法,其特征在于,所述步骤S4包括:S41:将步骤S2中听力损失谱与带噪训练语音的复频谱图特征叠合后得到的特征输入到补偿生成器中,将补偿生成器的输出和带噪训练语音的复频谱图特征相乘得到增强训练语音的复频谱图特征;
S42:对度量鉴别器进行训练:
首先,将度量鉴别器的两个输入分别置为带噪训练语音经过验配公式补偿后的干净补偿语音和增强训练语音,将度量鉴别器输出的预测分数与增强训练语音和干净补偿语音之间经HASQI计算得到的HASQI标签计算损失;其中,干净补偿语音和增强训练语音在输入度量鉴别器之前,分别将其复频谱图特征与听力损失谱叠合,将叠合后的特征输入度量鉴别器;
另外,将度量鉴别器的两个输入均置为干净补偿语音,将度量鉴别器输出的预测分数与全1向量计算损失,其中,干净补偿语音在输入度量鉴别器之前,将其复频谱图特征与听力损失谱叠合,将叠合后的特征输入度量鉴别器;
该步骤中度量鉴别器的总损失描述如下:
,
其中,、和分别为干净补偿语音、增强训练语音以及对应的听力损失图,D表示度量鉴别器网络,表示HASQI计算出的HASQI标签;
将总损失反向传播至度量鉴别器,更新度量鉴别器的参数;
S43:对补偿生成器进行训练:
在该步骤度量鉴别器将冻结,不进行参数的更新,此时将度量鉴别器的两个输入分别置为干净补偿语音和增强训练语音,将度量鉴别器输出的预测分数与全1向量计算损失,另外还设置了感知质量相关的损失以强化模型对于噪声的抑制,包括PMSQE损失和PASE损失,其中,干净补偿语音和增强训练语音在输入度量鉴别器之前,分别将其复频谱图特征与听力损失谱叠合,将叠合后的特征输入度量鉴别器;
该步骤中补偿生成器的总损失描述如下:
,
其中,PMSQE根据干净补偿语音和增强训练语音的功率谱进行计算,而PASE则利用预先训练的语音特征编码器度量增强训练语音和干净补偿语音之间的特征距离,和为感知质量相关损失的权重系数;
将总损失反向传播至补偿生成器,更新补偿生成器的参数;
S44:重复执行步骤S41~步骤S43,对补偿生成器和度量鉴别器进行交替训练,直至达到预设训练轮数或者补偿生成器的总损失小于预设数值,训练结束。
6.根据权利要求5所述的一种结合听损补偿和语音降噪的语音增强方法,其特征在于,设置为1,设置为0.25。
7.根据权利要求1所述的一种结合听损补偿和语音降噪的语音增强方法,其特征在于,所述步骤S5包括:首先利用补偿生成器的输出与待测语音的复频谱图特征相乘得到增强待测语音的复频谱图特征,然后通过逆傅里叶变换将增强待测语音的复频谱图特征还原为增强待测语音的时域波形,最后通过重叠相加算法合成得到待测语音的增强语音波形,重叠相加算法是指增强待测语音的时域波形的帧与帧之间重叠部分的叠加。