1.一种充分利用视觉与语音联系的视听语音增强方法,其特征在于,包括以下步骤:
S01、获取混合语音输入样本:对每个样本的语音片段,通过人工加噪的方式形成嘈杂的混合语音输入样本;
S02、获取输入语音幅度特征:对混合语音信号进行采样获得其时域信号,对混合语音时域信号加窗分帧和短时傅里叶变换得到混合语音的原始幅度谱图和原始相位谱图,将所述的原始幅度谱图输入到组合的ResNet网络从而获取语音幅度特征;
S03、获取输入视觉特征:采用人脸检测器提取人脸关键信息,经由时空残差网络提取面部信息作为视觉特征;
S04、视觉和语音初次融合:将步骤S03得到的视觉特征输入BLSTM中,从而得到二进制掩码,将步骤S02得到的语音幅度特征和二进制掩码相融合,从而得到干净的二进制幅度掩码;
S05、视觉和语音再次融合:将步骤S04中得到的包含语音和视觉之间联系的干净的二进制幅度掩码和语音幅度特征串联输入,双向的BLSTM,经由BLSTM之后再进入两层全连接层,再经由激活函数将输出控制在[0,1]区间之内,经过迭代训练之后得到可乘的理想幅度掩码,再将语音幅度特征和可乘的理想幅度掩码相乘,得到增强的幅度谱图;
S06、幅度与相位相结合,逆变换获取增强语音:将步骤S05中得到的增强的幅度谱图和原始相位谱图一起输入相位子网络获得相位残差,经由L2型标准化从而获得增强的相位谱图,通过最小化增强的幅度谱图和地面真理之间的L1型损失函数来训练幅度子网络,通过最大化增强的相位谱图和地面真理之间的余弦相似性,通过地面真相缩放来训练相位子网络,在通过傅里叶逆变换,最终输出增强的语音。
2.根据权利要求1所述的一种充分利用视觉与语音联系的视听语音增强方法,其特征在于,步骤S01所述的通过人工加噪的方式形成嘈杂的混合语音输入样本的方法为:在每个样本中第一说话人的语音中,随机混合其他说话人的时长相等的语音片段,以其他说话人的语音作为噪音掺杂,从而形成嘈杂的混合语音输入样本。
3.根据权利要求1所述的一种充分利用视觉与语音联系的视听语音增强方法,其特征在于,步骤S02所述的加窗分帧采用汉宁窗函数,所述的ResNet网络采用5个卷积层构成的卷积模块。
4.根据权利要求1所述的一种充分利用视觉与语音联系的视听语音增强方法,其特征在于,步骤S03所述的时空残差网络提取面部信息的方法为:将提取的人脸关键信息输入到一个3D的ResNet卷积层,然后经过一维的18层的ResNet,共有10个卷积块,对于每个时间节点上的人脸信息,网络输出512维特征向量 作为视觉特征向量。
5.根据权利要求1所述的一种充分利用视觉与语音联系的视听语音增强方法,其特征在于,步骤S04所述的干净的二进制幅度掩码的计算公式为:其中, 是干净的二进制幅度掩码;σ是sigmoid激活函数,使得输出的值介于0到1之间; 表示周期为T的幅度网络中的卷积块形成的堆栈; 为视觉特征向量;M0是带噪声的原始幅度谱图。
6.根据权利要求5所述的一种充分利用视觉与语音联系的视听语音增强方法,其特征在于,步骤S05所述的增强的幅度谱图的计算公式为:其中, 为语音特征向量; 为增强的幅度谱图。
7.根据权利要求6所述的一种充分利用视觉与语音联系的视听语音增强方法,其特征在于,步骤S06中所述的相位子网络获得相位残差的方法为:将增强的幅度谱图和原始相位谱图作为输入,二者经由线性投影融合在一起后输入至卷积模块,再利用幅度和相位之间的相关性,以增强的幅度谱图为参照,将其映射到原始相位谱图,从而得到相位残差;所述的相位残差的计算公式为:其中,φ6表示相位残差,Conv Block表示卷积快; 表示T周期下相位和幅度结合中的卷积块堆栈, 表示T周期下相位网络中的卷积快堆栈,Φn表示噪声的相位谱图。
8.根据权利要求7所述的一种充分利用视觉与语音联系的视听语音增强方法,其特征在于,步骤S06所述的增强的相位谱图的计算方法为:经由L2型标准化,从而获得增强的相位谱图如下:其中,表示预测的增强的相位谱图; 表示T周期下残差和原始相位结合时的卷积块堆栈。
9.根据权利要求8所述的一种充分利用视觉与语音联系的视听语音增强方法,其特征在于,步骤S06所述的增强的语音计算公式为:*
其中,M 为真实的目标幅度谱图;λ为预设的比例因子,经实验得其值取0.8最佳;T表示时间帧,F表示采样频率;Σt,f表示求和; 表示T‑F单元下真实的目标幅度谱图; 表示T‑F单元下预测的干净的相位谱图; 表示T‑F单元下真实的相位谱图。
10.一种充分利用视觉与语音联系的视听语音增强系统,其特征在于,包括:
获取混合语音输入样本模块,用于对每个样本的语音片段,通过人工加噪的方式形成嘈杂的混合语音输入样本;
获取输入语音幅度特征模块,用于对混合语音信号进行采样获得其时域信号,对混合语音时域信号加窗分帧和短时傅里叶变换得到混合语音的原始幅度谱图和原始相位谱图,将所述的原始幅度谱图输入到组合的ResNet网络从而获取语音幅度特征;
获取输入视觉特征模块,用于采用人脸检测器提取人脸关键信息,经由时空残差网络提取面部信息作为视觉特征;
视觉和语音初次融合模块,用于将获取输入视觉特征模块得到的视觉特征输入BLSTM中,从而得到二进制掩码,将获取输入语音幅度特征模块得到的语音幅度特征和二进制掩码相融合,从而得到干净的二进制幅度掩码;
视觉和语音再次融合模块,用于将视觉和语音初次融合模块中得到的包含语音和视觉之间联系的干净的二进制幅度掩码和语音幅度特征串联输入,双向的BLSTM,经由BLSTM之后再进入两层全连接层,再经由激活函数将输出控制在[0,1]区间之内,经过迭代训练之后得到可乘的理想幅度掩码,再将语音幅度特征和可乘的理想幅度掩码相乘,得到增强的幅度谱图;
逆变换获取增强语音模块,用于将视觉和语音再次融合模块中得到的增强的幅度谱图和原始相位谱图一起输入相位子网络获得相位残差,经由L2型标准化从而获得增强的相位谱图,通过最小化增强的幅度谱图和地面真理之间的L1型损失函数来训练幅度子网络,通过最大化增强的相位谱图和地面真理之间的余弦相似性,通过地面真相缩放来训练相位子网络,在通过傅里叶逆变换,最终输出增强的语音。