1.一种基于双分支网络的单声道语音增强方法,其特征在于,包括:
步骤一,获取带噪语音、并对带噪语音先进行傅里叶变换得到原始语音谱Z,再对Z进行解耦得到原始复数谱X0、原始幅度谱Y0;
步骤二,将X0、Y0输入到训练好的语音增强网络中进行处理,得到增强复数谱Z';
其中,语音增强网络包括:2个频带分割部、2个特征提取部、1个序列建模部、1个复数谱特征建模部、1个幅度谱特征建模部、1个频带合成部;
第1个频带分割部用于对X0进行频带分割处理,得到中间复数谱特征A;第2个频带分割部用于对Y0进行频带分割处理,得到中间幅度谱特征E;第1个特征提取部用于基于A、E提取出中间特征B;第2个特征提取部用于基于A、E提取出中间特征F;序列建模部基于Mamba构建,用于对B、F进行序列建模以得到中间特征C、中间特征H;复数谱特征建模部用于对C进行特征建模以得到最终复数谱特征D;幅度谱特征建模部用于对H进行特征建模以得到最终幅度谱特征L;频带合成部用于对D、L进行合成处理以得到Z';
步骤三,对Z与Z'先进行掩膜处理,再进行逆傅里叶变换,得到增强语音。
2.根据权利要求1所述的基于双分支网络的单声道语音增强方法,其特征在于,频带分割部包括:1个频谱分割层、1个归一化层、1个Layer层、1个维度合并层;
在第1个频带分割部中:频谱分割层用于对X0按照预设规格进行分割以得到M个原始复数谱带X1,归一化层用于对X1进行归一化以得到M个归一化后的复数谱特征X2,Layer层用于对X2进行频率维度上的统一以得到M个统一复数谱特征X3,维度合并层用于对X3在频率维度上进行合并处理以得到A;
其中,X1=[x11,x12,…,x1M],x1m表示X1中的第m个原始复数谱带,m∈[1,M ];
X2=[x21,x22,…,x2M],x2m表示X2中的第m个归一化后的复数谱特征;
X3=[x31,x32,…,x3M],x3m表示X3中的第m个统一复数谱特征;
在第2个频带分割部中:频谱分割层用于对Y0按照预设规格进行分割以得到M个原始幅度谱带Y1,归一化层用于对Y1进行归一化以得到M个归一化后的幅度谱特征Y2,Layer层用于对Y2进行频率维度上的统一以得到M个统一幅度谱特征Y3,维度合并层用于对Y3在频率维度上进行合并处理以得到E;
其中,Y1=[y11,y12,…,y1M],y1m表示Y1中的第m个原始幅度谱带;
Y2=[y21,y22,…,y2M],y2m表示Y2中的第m个归一化后的幅度谱特征;
Y3=[y31,y32,…,y3M],y3m表示Y3中的第m个统一幅度谱特征。
3.根据权利要求1所述的基于双分支网络的单声道语音增强方法,其特征在于,特征提取部包括:1个二维卷积层、1个归一化层、1个PRelu激活函数、1个信息交互层;
在第1个特征提取部中:二维卷积层用于对A进行特征提取以得到复数频谱信息a1,归一化层用于对a1进行归一化以得到复数频谱信息a2,PRelu激活函数用于向a2引入非线性特征以得到复数频谱信息a3,信息交互层用于对a3、E进行交互处理以得到B;
在第2个特征提取部中:二维卷积层用于对E进行特征提取以得到幅度频谱信息e1,归一化层用于对e1进行归一化以得到幅度频谱信息e2,PRelu激活函数用于向e2引入非线性特征以得到幅度频谱信息e3,信息交互层用于对e3、A进行交互处理以得到F。
4.根据权利要求3所述的基于双分支网络的单声道语音增强方法,其特征在于,序列建模部包括:N个结构相同的Mamba模型部;
第n个Mamba模型部包括:1个信息交互层、2个叠加层、2个FT-Mamba部;
在第n个Mamba模型部中:信息交互层用于对中间频谱特征Wn-1、中间频谱特征wn-1进行交互处理以得到中间频谱特征Un,第1个叠加层用于将Un与Wn-1进行叠加以得到中间频谱特征U_Bn,第2个叠加层用于将Un与wn-1进行叠加以得到中间频谱特征U_Fn,第1个FT-Mamba部用于将U_Bn基于Mamba进行序列建模以得到中间频谱特征Wn,第2个FT-Mamba部用于将U_Fn基于Mamba进行序列建模以得到中间频谱特征wn;n∈[1,N];
其中,B作为中间频谱特征W0,F作为中间频谱特征w0;
中间频谱特征WN作为C,中间频谱特征wN作为H。
5.根据权利要求3或4所述的基于双分支网络的单声道语音增强方法,其特征在于,信息交互层包括:1个联合层、1个子二维卷积层、1个子归一化层、1个子PRelu激活函数;
信息交互层为双输入、单输出;在任一个信息交互层中:联合层用于将该信息交互层的双输入连接在一起以得到中间数据G1,子二维卷积层用于将G1进行特征提取以得到中间数据G2,子归一化层用于对G2进行归一化处理以得到中间数据G3,子PRelu激活函数用于向G3引入非线性特征以得到该信息交互层的单输出。
6.根据权利要求4所述的基于双分支网络的单声道语音增强方法,其特征在于,FT_Mamba部包括5个子部分;
其中,第1个子部分为归一化层,第2个子部分为F_Mamba部,第3个子部分为叠加层,第4个子部分为T_Mamba部,第5个子部分为叠加层;
或,第1个子部分为归一化层,第2个子部分为T_Mamba部,第3个子部分为叠加层,第4层个子部分F_Mamba部,第5个子部分为叠加层;
在任一个FT_Mamba部中:第1个子部分用于对该FT_Mamba部的输入进行归一化处理得到中间数据J1,第2个子部分用于对J1在频率维度上进行序列建模以得到中间数据J2,第3个子部分用于将该FT_Mamba部的输入与J2进行叠加以得到中间数据J3,第4个子部分用于对J3在时间维度上进行序列建模以得到中间数据J4,第5个子部分用于将J3与J4进行叠加以得到该FT_Mamba部的输出。
7.根据权利要求6所述的基于双分支网络的单声道语音增强方法,其特征在于,F_Mamba部包括:2个Transpose层、1个Unfold层、1个F_Mamba层、1个一维转置卷积层;
在任一个F_Mamba部中:第1个Transpose层用于对该F_Mamba部的输入进行张量转换得到中间数据R1,Unfold层用于对R1进行上采样以得到中间数据R2,F_Mamba层用于通过双向Mamba对R2进行序列建模以得到中间数据R3,一维转置卷积层用于对R3进行一维转置卷积以得到中间数据R4,第2个Transpose层用于对R4进行张量转换以得到该F_Mamba部的输出;
其中,F_Mamba层包括:1个flip层、2个Mamba层、2个Norm层、2个叠加层、1个Constant层、1个Layer层;
在任一个F_Mamba层中:第1个Mamba层用于对该F_Mamba层的输入进行序列建模以得到中间数据P1,第1个Norm层用于对P1进行归一化处理以得到中间数据P2,第1个叠加层用于将该F_Mamba层的输入与P2进行叠加以得到中间数据P3,flip层用于对该F_Mamba层的输入进行反向得到中间数据P4,第2个Mamba层用于对P4进行建模以得到中间数据P5,第2个Norm层用于对P5进行归一化处理以得到中间数据P6,第2个叠加层用于将P4与P6进行叠加以得到中间数据P7,Constant层用于对P3、P7进行张量调整以得到中间数据P8,Layer层用于对P8进行线性映射以得到该F_Mamba层的输出;
T_Mamba部包括:2个Transpose层、1个一维填充层、1个Unfold层、1个T_Mamba层、1个一维转置卷积层;
在任一个T_Mamba部中:第1个Transpose层用于对该T_Mamba部的输入进行张量转换得到中间数据T1,一维填充层用于对T1进行数据填充以得到中间数据T2,Unfold层用于对T2进行抽象特征提取以得到中间数据T3,T_Mamba层用于通过单向Mamba对T3进行序列建模以得到中间数据T4,一维转置卷积层用于对T4进行一维转置卷积以得到中间数据T5,第2个Transpose层用于对T5进行张量转换该T_Mamba部的输出;
其中,T_Mamba层包括:1个Mamba层、1个Norm层、1个Layer层、1个叠加层;
在任一个T_Mamba层中:Mamba层用于对该T_Mamba层的输入进行建模以得到中间数据Q1,Norm层用于对Q1进行归一化处理以得到中间数据Q2,Layer层用于对Q2进行线性映射以得到中间数据Q3,叠加层用于将该T_Mamba层的输入与Q3进行叠加以得到该T_Mamba层的输出。
8.根据权利要求1所述的基于双分支网络的单声道语音增强方法,其特征在于,复数谱特征建模部包括:1个F1E-Real层、1个F2E-Imag层、1个叠加层;
在复数谱特征建模部中:F1E-Real层用于对C进行特征建模以得到实部中间特征c1,F2E-Imag层用于对C进行特征建模以得到虚部中间特征c2,叠加层用于将c1、c2进行叠加以得到D;
其中,F1E-Real层包括:3个二维卷积层、1个Norm层、2个PRelu激活函数、1个Sigmoid激活函数;
在F1E-Real层中:第1个二维卷积层用于对C进行上采样以得到中间数据u1,Norm层用于对u1进行归一化处理以得到中间数据u2,第1个PRelu激活函数用于向u2引入非线性特征以得到中间数据u3,第2个二维卷积层用于对u3进行二维卷积处理以得到中间数据u4,Sigmoid激活函数用于向u4引入线性特征以得到中间数据u5,第3个二维卷积层用于对U5进行特征提取以得到中间数据u6,第2个PRelu激活函数用于向u6引入非线性特征以得到c1;
其中,F2E-Imag层包括:4个二维卷积层、1个Norm层、2个PRelu激活函数、1个Sigmoid激活函数、1个Tanh激活函数、1个叠加层;
在F2E-Imag层中:第1个二维卷积层用于对C进行上采样以得到中间数据U1,Norm层用于对U1进行归一化处理以得到中间数据U2,第1个PRelu激活函数用于向U2引入非线性特征以得到中间数据U3,第2个二维卷积层用于对U3进行二维卷积处理以得到中间数据U4,Sigmoid激活函数用于向U4引入线性特征以得到中间数据U5,第3个二维卷积层用于对U3进行二维卷积处理以得到中间数据U6,Tanh激活函数用于对U6引入线性特征以得到中间数据U7,叠加层用于将U5、U7进行叠加得到中间数据U8,第4个二维卷积层用于对U8进行特征提取以得到中间数据U9,第2个PRelu激活函数用于向U9引入非线性特征以得到c2;
幅度谱特征建模部包括:1个F2E-Mask层、1个矩阵相乘层;
在幅度谱特征建模部中:F2E-Mask层用于对H进行建模以得到幅度谱特征掩码H',矩阵相乘层用于将H'与E进行矩阵相乘以得到L;
其中,F2E-Mask层包括:4个二维卷积层、1个Norm层、2个PRelu激活函数、1个Sigmoid激活函数、1个Tanh激活函数、1个叠加层;
在F2E-Mask层中:第1个二维卷积层用于对H进行上采样以得到中间数据h1,Norm层用于对h1进行归一化处理以得到中间数据h2,第1个PRelu激活函数用于向h2引入非线性特征以得到中间数据h3,第2个二维卷积层用于对h3进行二维卷积处理以得到中间数据h4,Sigmoid激活函数用于向h4引入线性特征以得到中间数据h5,第3个二维卷积层用于对h3进行二维卷积处理以得到中间数据h6,Tanh激活函数用于对h6引入线性特征以得到中间数据h7,叠加层用于将h5、h7进行叠加得到中间数据h8,第4个二维卷积层用于对h8进行特征提取以得到中间数据h9,第2个PRelu激活函数用于向h9引入非线性特征以得到H'。
9.根据权利要求1所述的基于双分支网络的单声道语音增强方法,其特征在于,频带合成部包括:1个叠加层、1个块拆解层、1个归一化层、1个Layer层、1个Tanh激活函数、1个GLU层、1个频带合并层;
在频带合成部中,叠加层用于将D、L进行叠加以得到复数谱特征块V0,块拆解层用于将V0进行块拆解以得到M个原始复数谱张量V1,归一化层用于对V1进行归一化处理以得到归一化后的复数谱张量V2,Layer层用于对V2进行线性变化以得到双倍复数谱张量V3,Tanh激活函数用于向V3引入线性特征以得到激活复数谱张量V4,GLU层用于对V4进行维度还原以得到最终分割频带掩码V5,频带合并层用于对V5在频率维度上进行合并以得到Z';
其中,V1=[v11,v12,…,v1M],v1m表示V1中的第m个原始复数谱张量;
V2=[v21,v22,…,v2M],v2m表示V2中的第m个归一化后的复数谱张量;
V3=[v31,v32,…,v3M],v3m表示V3中的第m个双倍复数谱张量;
V4=[v41,v42,…,v4M],v4m表示V4中的第m个激活复数谱张量;
V5=[v51,v52,…,v5M],v5m表示V5中的第m个最终分割频带掩码。
10.一种基于双分支网络的单声道语音增强装置,其特征在于,其使用了如权利要求1-9中任一项所述的基于双分支网络的单声道语音增强方法;
所述基于双分支网络的单声道语音增强装置包括:
预处理模块,其用于获取带噪语音、并对带噪语音先进行傅里叶变换得到原始语音谱Z,再对Z进行解耦得到原始复数谱X0、原始幅度谱Y0;
语音增强模块,其用于将X0、Y0输入到训练好的语音增强网络中进行处理,得到增强复数谱Z';
以及
后处理模块,其用于对Z与Z'先进行掩膜处理,再进行逆傅里叶变换,得到增强语音。