欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023106415430
申请人: 山西大学
专利类型:发明专利
专利状态:已下证
专利领域: 乐器;声学
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于身份信息和语义信息解纠缠的文本无关的说话人确认方法,其特征是,包括如下步骤:

1)神经网络的搭建

所用神经网络为双流网络架构,同时对一段语音分别提取用来表征说话人身份信息的特征和语义内容的特征,使用声纹识别网络提取说话人特征,使用语音识别网络提取语音内容特征,其中,声纹识别网络用于训练,在说话人特征层之后添加分类层,分类维度等于训练数据集中的说话人数量;语音识别网络不参与训练,直接使用已经训练好的语音识别网络的预训练模型提取语义内容特征;完成神经网络的搭建;

2)模型的训练

首先,将数据集中的语音划分为大小相同的批,每批包含K条语音数据,针对一批数据中的每条语音,随机选取其中的3s语音片段,对其进行语音增强,然后计算其频谱图,并提取梅尔频率倒谱系数(Mel‑scale Frequency Cepstral Coefficients,MFCC)特征作为神经网络模型的输入;

然后,将MFCC特征输入语音识别网络直接得到语义内容的特征表示fsch;

同时,将MFCC特征输入声纹识别网络并得到声纹特征fspk;

然后,通过如下公式(1)计算一批数据得到的K个声纹特征的分类结果与真实标签之间的交叉熵损失之和LA,其中分类结果是经过AAM‑softmax计算得到的,真实标签需要经过one‑hot处理;

公式(1)中,cos(θj,i)=||Wj||||fspk_i||cos,即fspk_i和Wj经过L2正则化后的点积,i、j是一批数据中的索引,0<i<K、0<j<K,fspk_i表示第i条语音的声纹特征,yi代表第i条语音的标签,W代表分类头的权重矩阵, 代表分类结果为标签yi时所对应的权重参数,Wj代表除了yi的其他分类头的权重参数,s是一个固定的缩放因子以防止梯度在训练阶段变得太小,通过在Wj和fspk_i之间增加角裕度m以实现类内相似性的最大化和类间相似性的最小化,旨在令相似的不同说话人之间的距离更远;

同时,使用解纠缠方法计算批量话语数据得到的声纹特征fspk与语义特征fsch之间的相关性,得到损失Ls,以实现声纹特征与语义特征之间的解纠缠;

所述解纠缠方法这里使用互信息方法如下公式(2);

公式(2)中, 是给定fsch下fspk的真实后验的变分近似,可以被网络θ(fspk,fsch)参数化;

接着,通过如下公式(3)得到整个训练网络的损失函数;

Lcls=LA+λLS   (3)

公式(3)中,λ是权重超参数;

最后,利用所有训练数据,最小化损失函数Lcls,完成训练得到说话人确认模型;

3)结果测试

首先,将训练好的模型去除分类层的最后一层,表示声纹特征;

然后,对两条待比较语音,分别提取其完整长度的频谱图,并提取其MFCC特征,并将MFCC特征输入模型,得到两句语音的声纹特征表示fspk1,fspk2;

最后,通过如下公式(4)对两条待比较语音的声纹特征进行相似度打分,得到两条待比较语音是否为同一个人的判别结果;

公式(4)中,||·||2是指第二范数。

2.根据权利要求1所述基于身份信息和语义信息解纠缠的文本无关的说话人确认方法,其特征是,所述声纹识别网络是ECAPA‑TDNN、ResNet、Thin‑ResNet、VGG网络模型中的任意一种。

3.根据权利要求1所述基于身份信息和语义信息解纠缠的文本无关的说话人确认方法,其特征是,所述语音识别网络是Deep Speech2、Deep Speech、Whisper网络模型中的任意一种。