欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021113856763
申请人: 南京工程学院
专利类型:发明专利
专利状态:已下证
专利领域: 乐器;声学
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于跨层相似性知识蒸馏的语音增强方法,其特征在于:包括以下步骤,步骤(A),提取深度神经网络的输入特征;

步骤(B),构建基于深度复卷积循环语音增强网络结构的蒸馏基础模型;

步骤(C),根据蒸馏基础模型构建基于跨层相似性蒸馏的师生学习框架,并预训练大规模参数的蒸馏基础模型作为教师模型,其中师生学习框架包括教师模型和学生模型,教师模型和学生模型使用相同的蒸馏基础模型架构,但教师模型的每个对应层通道数为学生模型的四倍;多层教师模型和学生模型之间的有效信息采用特征融合变换层进行传递,其中特征融合变换层包括两层正向卷积层和一层卷积层,且特征融合的成对相似度能作为蒸馏损失;

步骤(D),利用预训练好的教师模型对学生模型进行蒸馏,并产生蒸馏输出结果;

步骤(E),基于蒸馏的输出结果,利用成对相似度矩阵计算特征距离;

步骤(F),将输入特征中的带噪语音复频谱谱特征输入到蒸馏后的学生模型并重建增强语音波形。

2.根据权利要求1所述的基于跨层相似性知识蒸馏的语音增强方法,其特征在于:步骤(A),提取深度神经网络的输入特征,其中深度神经网络的输入特征是分别从带噪语音和干净语音中提取的复频谱特征,并将理想复值掩蔽作为训练目标。

3.根据权利要求2所述的基于跨层相似性知识蒸馏的语音增强方法,其特征在于:步骤(B),构建基于深度复卷积循环语音增强网络结构的蒸馏基础模型,其中深度复卷积循环语音增强网络结构是基于复卷积编码器-解码器架构构建的;而蒸馏基础模型包括编码器、中间层和解码器,其中编码器具有六层正向复卷积层、中间层具有两层复数LSTM层和解码器具有六层反向复卷积层。

4.根据权利要求3所述的基于跨层相似性知识蒸馏的语音增强方法,其特征在于:步骤(D),利用预训练好的教师模型对学生模型进行蒸馏,其中蒸馏的位置设置在编码器、中间层和解码器,且整个蒸馏过程呈对称式进行,以中间层内部含有的两层LSTM层为中心分别向编码器和解码器进行特征融合,而特征融合的具体步骤如下,步骤(D1),特征融合操作在编码器和解码器阶段进行,由于教师和学生各层的特征表示维度有差异,因此要对特征进行维度转换,设教师模型和学生模型第i层的特征分别为其中,I表示待蒸馏多层学生模型的中间表示特征集,

步骤(D2),要避免多层特征的相互干扰和减少冗余的计算,设对n层的特征进行蒸馏,并将变换后的学生特征接着将多个距离对的和等效近似为融合特征的距离,如公式(3)所示,其中,

步骤(D3),特征融合的过程是通过渐进的方式进行的,特征融合操作定义为一个递归函数步骤(D4),计算每个连接路径的递归函数,并利用采样的方法将高层次特征重划定为低层次特征的尺寸,再将来自不同层次的两个特征连接在一起,利用1×1卷积对当前层特征和递归累积特征进行注意力加权并生成最终的蒸馏输出结果。

5.根据权利要求4所述的基于跨层相似性知识蒸馏的语音增强方法,其特征在于:步骤(E),基于蒸馏的输出结果,利用成对相似度矩阵计算特征距离,其具体步骤如下,步骤(E1),对于第l层融合后的特征图为O

其中,b是批量大小,c是输出通道数,t是语音帧数,f则是特征维度,帧级特征维度为f′=c·f,下标Τ和S分别表示教师和学生;

步骤(E2),分别计算教师和学生的相似度矩阵,再对矩阵的每一行[i,:]应用L2规范化,如公式(5)所示,其中,每帧计算得到的相似度矩阵

步骤(E3),第l层相似度蒸馏损失

其中,||·||

6.根据权利要求5所述的基于跨层相似性知识蒸馏的语音增强方法,其特征在于:步骤(F),将输入特征中的带噪语音复频谱谱特征输入到蒸馏后的学生模型并重建增强语音波形,其中重建是利用学生模型预测的理想复值掩蔽与输入特征中的带噪语音复频谱相乘得到增强语音复频谱,再通过逆傅里叶变换还原时域波形,接着通过相似度距离叠加算法合成得到增强语音波形,具体步骤如下,步骤(F1),在使用理想复值掩蔽重建估计语音的过程中,首先取出网络输出的实部步骤(F2),利用带噪语音的幅度谱Y