1.一种基于身份信息和语义信息解纠缠的文本无关的说话人确认方法,其特征是,包括如下步骤:
1)神经网络的搭建
所用神经网络为双流网络架构,同时对一段语音分别提取用来表征说话人身份信息的特征和语义内容的特征,使用声纹识别网络提取说话人特征,使用语音识别网络提取语音内容特征,其中,声纹识别网络用于训练,在说话人特征层之后添加分类层,分类维度等于训练数据集中的说话人数量;语音识别网络不参与训练,直接使用已经训练好的语音识别网络的预训练模型提取语义内容特征;完成神经网络的搭建;
2)模型的训练
首先,将数据集中的语音划分为大小相同的批,每批包含K条语音数据,针对一批数据中的每条语音,随机选取其中的3s语音片段,对其进行语音增强,然后计算其频谱图,并提取梅尔频率倒谱系数(Mel‑scale Frequency Cepstral Coefficients,MFCC)特征作为神经网络模型的输入;
然后,将MFCC特征输入语音识别网络直接得到语义内容的特征表示fsch;
同时,将MFCC特征输入声纹识别网络并得到声纹特征fspk;
然后,通过如下公式(1)计算一批数据得到的K个声纹特征的分类结果与真实标签之间的交叉熵损失之和LA,其中分类结果是经过AAM‑softmax计算得到的,真实标签需要经过one‑hot处理;
公式(1)中,cos(θj,i)=||Wj||||fspk_i||cos
同时,使用解纠缠方法计算批量话语数据得到的声纹特征fspk与语义特征fsch之间的相关性,得到损失Ls,以实现声纹特征与语义特征之间的解纠缠;
所述解纠缠方法这里使用互信息方法如下公式(2);
公式(2)中, 是给定fsch下fspk的真实后验的变分近似,可以被网络θ(fspk,fsch)参数化;
接着,通过如下公式(3)得到整个训练网络的损失函数;
Lcls=LA+λLS (3)
公式(3)中,λ是权重超参数;
最后,利用所有训练数据,最小化损失函数Lcls,完成训练得到说话人确认模型;
3)结果测试
首先,将训练好的模型去除分类层的最后一层,表示声纹特征;
然后,对两条待比较语音,分别提取其完整长度的频谱图,并提取其MFCC特征,并将MFCC特征输入模型,得到两句语音的声纹特征表示fspk1,fspk2;
最后,通过如下公式(4)对两条待比较语音的声纹特征进行相似度打分,得到两条待比较语音是否为同一个人的判别结果;
公式(4)中,||·||2是指第二范数。
2.根据权利要求1所述基于身份信息和语义信息解纠缠的文本无关的说话人确认方法,其特征是,所述声纹识别网络是ECAPA‑TDNN、ResNet、Thin‑ResNet、VGG网络模型中的任意一种。
3.根据权利要求1所述基于身份信息和语义信息解纠缠的文本无关的说话人确认方法,其特征是,所述语音识别网络是Deep Speech2、Deep Speech、Whisper网络模型中的任意一种。