1.基于多尺度SincNet和CGAN的端到端说话人辨认方法,其特征在于,包括如下步骤:
步骤1.对输入的原始语音信号进行语音分帧预处理操作,得到语音帧,将语音帧作为真实语音样本;将真实语音样本分为训练样本和测试样本,分别用于模型训练和模型测试;
步骤2.搭建说话人辨认模型SincGAN;
说话人辨认模型SincGAN由生成器网络以及鉴别器网络组成;
生成器网络包括一个多尺度SincNet层、三个卷积层、两个转置卷积层和一个自适应平均池化层;
定义生成器网络中的多尺度SincNet层为第一多尺度SincNet层;定义生成器网络中的三个卷积层分别为第一、第二、第三卷积层,两个转置卷积层分别为第一、第二转置卷积层;
真实语音样本在生成器网络中的处理流程如下:
真实语音样本首先经过第一多尺度SincNet层进行特征提取,得到语音信号的二维特征,然后语音信号的二维特征依次经过第一卷积层、第二卷积层、第一转置卷积层、第二转置卷积层、第三卷积层以及自适应平均池化层,生成虚假语音样本;
鉴别器网络包括一个多尺度SincNet层、五个卷积层、三个瓶颈式残差块堆叠层和四个全连接层;
定义鉴别器网络中的多尺度SincNet层为第二多尺度SincNet层;
定义鉴别器网络中的五个卷积层分别为第四、第五、第六、第七以及第八卷积层;
定义鉴别器网络中的三个瓶颈式残差块堆叠层分别为第一、第二以及第三瓶颈式残差块堆叠层,四个全连接层分别为第一、第二、第三以及第四全连接层;
真实语音样本和虚假语音样本在鉴别器网络中的处理流程如下:真实语音样本和虚假语音样本首先经过第二多尺度SincNet层进行特征提取,得到语音信号的二维特征,然后语音信号的二维特征依次经过第四卷积层、第一瓶颈式残差块堆叠层、第五卷积层、第二瓶颈式残差块堆叠层、第六卷积层、第二瓶颈式残差块堆叠层、第七卷积层、第八卷积层、第一全连接层以及第二全连接层;
第二全连接层的输出分为两路,一路经过第三全连接层输出真/假标志,另一路经过第四全连接层输出N维向量,分别对应于真实语音样本的说话人类别标签;
鉴别器网络输出的N维向量输入到Softmax函数中,通过将输出的向量映射到概率分布上,将最大概率预测类别的说话人类别标签作为预测输出;
步骤3.利用步骤1中的训练样本对步骤2搭建的说话人辨认模型SincGAN进行训练,通过反向传播优化说话人辨认模型的参数以最小化目标函数,得到训练好的说话人辨认模型SincGAN,并利用测试样本对训练好的说话人辨认模型SincGAN进行测试;
步骤4.利用训练好的SincGAN对给定的语音信号进行预测,输出对应的说话人标签。
2.根据权利要求1所述的端到端SincGAN说话人辨认方法,其特征在于,所述第一多尺度SincNet、第二多尺度SincNet的结构相同;
每个多尺度SincNet由层归一化以及三个不同的平行分支组成;每个平行分支上分别包括一个SincNet层、一个批量归一化层以及一个一维自适应平均池化层;
各个平行分支上的SincNet层中的滤波器分别具有不同的内核长度;
语音帧在多尺度SincNet上的特征提取过程如下:
首先,语音帧经过层归一化,再进入三个平行分支的SincNet滤波器,分别学习不同频率分辨率的说话人特征图;然后,各个平行分支上SincNet滤波器输出的说话人特征图分别经过所在分支上批量归一化层和一维自适应平均池化层处理;
最后,将三个平行分支输出的一维说话人特征图堆叠成二维说话人特征图。
3.根据权利要求1所述的端到端SincGAN说话人辨认方法,其特征在于,定义有N个说话人,每个说话人有m句话语,第k个说话人的第m句话集合为Sk={h1,h2,...,hm},k=1,2,...,N,h1,h2,...,hm分别表示m句不同的话语;
说话人辨认模型SincGAN以语音帧作为输入数据,则将输入说话人辨认模型SincGAN的话语x分成n个固定长度的语音帧{x1,x2,...,xn};
将每一个语音帧依次送入到SincGAN中,鉴别器网络的最后一层使用Softmax层输出即表示第i个语音帧来自N个说话人中第k个说话人Sk的概率;
整个话语x的估计说话人身份对应于概率最大的说话人标签label,公式如下:
4.根据权利要求1所述的端到端SincGAN说话人辨认方法,其特征在于,所述步骤3中,在训练过程中,使用Wasserstein来衡量真实语音样本和虚假语音样本特征之间分布的距离,并使用最小二乘损失进一步修正SincGAN的目标函数;
生成器G的目标函数如公式(1)所示;
其中,x表示真实样本,即真实语音样本,G(x)表示生成器的生成样本,即虚假语音样本;D(G(x))表示鉴别器将虚假语音样本判断为真实语音样本的概率;
Pr(x)表示真实样本的分布,表示鉴别器将虚假语音样本判断为真实语音样本的概率减1的平方的期望值;E(·)为期望值的计算;
通过在生成器G中添加一个L1范数,可最小化生成样本和真实样本之间的距离并使生成样本更加真实,使用超参数ω来控制L1范式的权重;
鉴别器D的目标函数如公式(2)所示;
D(x)表示x是真实样本的概率;
表示鉴别器将虚假语音样本判断为真实语音样本的概率的平方的期望值,表示鉴别器对真实语音样本判断的概率减1的平方的期望值;
lossD表示所有说话人类别的分类交叉熵损失,分类交叉熵损失如公式(3)所示:其中,表示在x和y服从Pr(x,y)分布下的期望值;
x和y分别表示真实语音样本和标签;yi表示真实标签的第i个语音帧,yi∈RN构成每个语音帧i的向量,ki表示模型预测y属于第i个类别的概率,N表示说话人的总数量。
5.一种计算机设备,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,其特征在于,所述处理器执行所述可执行代码时,实现如权利要求1至4任一项所述的基于多尺度SincNet和CGAN的端到端说话人辨认方法的步骤。
6.一种计算机可读存储介质,其上存储有程序,其特征在于,所述程序被处理器执行时,实现如权利要求1至4任一项所述的基于多尺度SincNet和CGAN的端到端说话人辨认方法的步骤。