1.一种基于分块特征融合和双路径Transformer的目标语音提取方法,其特征在于,所述方法包括以下步骤:步骤一,对混合音频进行卷积编码,将语音信息转换为特征表示,使用可训练的卷积核对语音进行编码,通过训练优化特征表示来达到最佳效果,输入混合语音信号y,输出混合语音特征矩阵Y;
步骤二,对目标说话人参考语音进行卷积编码并提取其特征序列,多尺度卷积可以获取不同分辨率的特征,并通过降低特征维度简化特征表达,输入目标说话人参考语音s,输出目标说话人语音特征步骤三,对混合音频特征和参考语音特征进行分块并进行分块级的特征融合,提高参考特征的利用率,使提取过程能更精准识别说话人声音;输入混合语音特征矩阵Y、目标说话者语音特征输出特征融合矩阵E;
步骤四,使用双路径Transformer处理融合后的特征,通过对融合特征计算多头注意力,进行局部和全局的建模,从而实现目标说话人准确的识别与提取,最后生成只允许目标说话人语音信息通过的掩码矩阵,输入特征融合矩阵E,输出目标说话人掩码Mask;
步骤五,混合音频特征与提取掩码进行调制,滤除与说话人无关的语音特征,对调制响应特征解码,由特征恢复时域信号,获取目标语音,输入混合语音编码特征矩阵Y、目标说话人掩码Mask,输出提取的目标说话人语音步骤六,对参考特征提取网络进行预训练,加快训练收敛速度,使用多任务学习对网络整体进行共同优化,将网络调整到最佳状态,输入目标说话者语音特征Y、目标说话人语音提取结果输出预训练参考特征提取网络、多任务学习loss。
2.如权利要求1所述的基于分块特征融合和双路径Transformer的目标语音提取方法,其特征在于,所述步骤一中,混合语音信号输入一个一维卷积层,该卷积层有N个卷积核,每个卷积核的尺寸为L,则其步长为L/2,混合语音序列的编码可表示为:其中,k表示帧序列号,k∈{0,1,2,...,K},K=2(T-L)/L+1为步长L/2下的总帧数,y表示帧序列,L为卷积核尺寸,U表示卷积核矩阵,N为卷积核数量,i、j表示矩阵元素序号,i=0,1,…,N-1,j=0,1,…,K-1,ReLU表示激活函数f(x)=max(x,0);
进行编码计算得到包含了混合音频信息的特征矩阵
3.如权利要求1或2所述的基于分块特征融合和双路径Transformer的目标语音提取方法,其特征在于,所述步骤二的过程为:步骤2.1:对参考语音进行时域多尺度卷积编码,将时域信息转换为特征表示,参考语音特征提取基于上一流程的语音编码模块,将参考语音s经过三个并行的卷积编码器,每个卷积层的卷积核尺寸分别为L1、L2、L3,不同尺度的卷积核对参考语音进行不同分辨率的编码,多尺度的语音特征S'=[S1,S2,S3];
步骤2.2:使用残差与池化模块处理多尺度语音特征,降低特征维度以提取特征序列,参考语音特征S'将经过NR个堆叠残差模块,以获取合适的说话者特征表示;
残差模块由两层卷积核大小为1*1的CNN、1个一维最大池化层和残差连接构成,批量归一化BN层和参数ReLU激活函数对每层CNN的输出进行归一化和非线性转换;1-D最大池化层的核大小为1*3,用于去除静音,并将时间序列压缩为原来的1/3;最后使用点卷积调整通道数并进行平均池化,得到参考特征系数其中D为通道数,即预先确定的特征维度。
4.如权利要求1或2所述的基于分块特征融合和双路径Transformer的目标语音提取方法,其特征在于,所述步骤三的过程为:步骤3.1:对混合语音特征各通道进行50%重叠切割,分块重组为新的特征矩阵,对于混合语音特征矩阵采取在特征序列维度进行分割的方法,将长度为K的长特征序列分割为长度F的数小段,其中每小段序列与上一段重叠50%,最终可分为M小段,将分块操作定义为Chunk(-),则分块结果可表示为步骤3.2:将分块后的混合语音特征与目标说话人参考特征进行融合,为每段分块添加完整的参考特征信息;为解决参考特征利用率低、硬件资源占用率高和训练速度慢的问题,提出了分块特征融合的方法,对于参考语音特征在产生的过程中,将特征维度设定为分块一致的长度,即D=F,将的维度进行交换得到其中P(-)操作为维度交换,对第二、三维度进行复制,尺寸与ES一致,即其中C(-)操作为复制操作,pytorch的广播机制可以更高效的实现这一操作;最终得到尺寸相同的特征矩阵Yc和再使用相加的方法实现特征融合,即经过复制并相加后得到最终用于提取的特征矩阵,虚线框内表示一个特征通道的一段小分块,已经获取了目标说话人的全部语音特征,提高了特征的利用率。
5.如权利要求1或2所述的基于分块特征融合和双路径Transformer的目标语音提取方法,其特征在于,所述步骤四的过程为:步骤4.1:使用双路径Transformer对融合特征进行处理,识别并提取目标说话人语音信息,为了在双路径结构中有效学习序列的顺序信息并促进模型的收敛,引入了长短期记忆网络,其计算公式如下:其中,ZX表示Transformer模块的输入数据,ZM表示经过多头注意力计算的中间变量,O表示经过Transformer模块运算后的输出;
双路径Transformer结构是局部和全局Transformer,这两个模块结构一致,分别用于局部和全局信息建模,通过维度交换实现对不同的部位建模,局部和全局模块都使用了残差结构,即输入的E分为两条路径,经过处理后再次相加,一共重复B次局部和全局处理,得到语音提取输出Eo;
步骤4.2:对双路径Transformer处理后的特征分块恢复生成提取掩码Mask,双路径Transformer的输出与混合语音特征矩阵Y进行分块后的Yc维度一致,为了和Y进行掩码调制,需要进行分块的逆操作,定义为M(-),故Mask为只允许目标说话人通过的掩码矩阵,维度与混合语音特征矩阵Y一致。
6.如权利要求1或2所述的基于分块特征融合和双路径Transformer的目标语音提取方法,其特征在于,所述步骤五的过程为:步骤5.1:对混合语音特征矩阵进行掩码调制,针对混合语音编码特征矩阵Y,根据提供的目标说话人参考特征,训练得到一个只允许目标说话人语音通过的掩码矩阵Mask,非目标说话人的声音都会被尽可能的滤除,这一过程叫做掩码调制,得到的结果S为目标说话人的调制响应,其计算公式如下:其中,Y表示混合语音编码特征矩阵,Mask表示目标说话人掩码矩阵,S表示目标说话人的调制响应,表示元素级相乘调制;
步骤5.2:对调制响应进行特征解码得到提取语音,目标语音解码是将语音特征由二维特征矩阵,经过逆卷积运算转换为一维语音信息,这一过程也称为目标语音解码,目标语音解码器由转置卷积构成,转置卷积初始没有固定的参数,而是由可学习参数组成,经过训练得到最优的解码参数,从而优化提取任务,其计算公式如下:其中,S表示目标说话人的调制响应,表示提取的目标说话人时域语音信号,Tconv表示转置卷积运算。
7.如权利要求1或2所述的基于分块特征融合和双路径Transformer的目标语音提取方法,其特征在于,所述步骤六的过程为:步骤6.1:对参考特征提取网络进行预训练,使网络能够根据声音区分说话人身份,将提取的语音特征经过线性层和归一化指数层,得到说话人预测的概率,使用交叉熵损失作为损失函数对网络进行训练优化,其计算公式如下:其中,i表示说话者序号,i∈{1,2,…,Ns},Ns是训练数据集中的总说话者人数,pi表示是第i个说话者的真实类别标签,表示预测的说话者概率;
步骤6.2:使用多任务学习方法对网络多模块进行训练,优化提取性能,目标说话人提取网络是一个由多个模块组成的网络,每个模块都有其作用,需要联合各个模块以完成语音提取任务,使用多任务学习的训练方法,同时训练网络的各个模块,可以使网络达到最佳状态;预训练的参考语音特征提取模块也会同时进行优化,以适应语音提取任务;同时,由于该模块的预训练,整个网络的多任务学习训练过程将会得到加快;
语音提取效果的评价是对比提取语音和混合前原语音的相似程度,越相近说明提取效果越好,SI-SDR就是用于计算两段信号相似程度的指标,s是未混合前的原始信号,即正确答案,是经过网络的重建信号,这两个向量之间存在着一定距离,故将分解为垂直于s的和平行于s的则SI-SDR的计算公式为:计算提取的时域语音与原语音s的SI-SDR,作为网络提取效果的指标,目的是最小化信号重建误差,即SI-SDRloss:ML-loss=αSI-SDR-loss+(1-α)CE-loss (7)
其中,α表示多任务学习损失的权重,SI-SDR-loss表示SI-SDR损失值,CE-loss表示交叉熵损失值。