欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020103368449
申请人: 兰州理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 乐器;声学
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于语谱图和注意力机制的声纹识别方法,其特征在于,包括步骤S1:数据预处理,将语音语料利用Kaldi语音识别工具进行处理,所述S1包括步骤:S11,语音语料采用Voxceleb1语音数据库;

S12,利用Kaldi生成spk2utt、utt2spk和wav.scp文件;

S2:特征提取,利用Kaldi语音识别工具提取语谱图作为输入特征,所述S2包括步骤:S21,将语音信号输入Kaldi语音识别工具;

S22,对语音信号进行分帧加窗;

S23,对分帧加窗后的语音信号进行傅里叶变换;

S24,对傅里叶变换后的语音信号进行能量密度计算;

S25,对经能量密度计算后的语音信号以时间为横轴,频率为纵轴,将每一帧信号按照时序进行连接,得到语音信号的语谱;

S3:特征处理,将所述语谱图输入卷积神经网络,利用卷积神经网络对多语谱图进行自动优化和降维;

S4:模型训练,利用X‑Vector说话人识别模型对语谱图特征进行训练,并引入注意力机制对帧级别特征进行权重处理,所述S4包括步骤:S41,在对语音信号处理时,将信号进行分帧处理,每一帧都用相应的向量表示,使得一个语音信号用一个矩阵X=(x1,x2,…,xi…,xt)表示,其中xi代表第i帧的向量,维度为d,故Xt=d∈R ;

S42,将注意力机制与统计层相结合,计算语音信号的加权统计量,然后计算不同帧的权重,假设统计层的输入为T帧向量H={m1,m2,…,mi,…,mT},每一帧特征mi的维度为dh,因此,H的大小为dh×T,采用注意力机制可以计算出每一帧的权重,如此计算可以得到一个权重矩阵A,如公式(1)所示:T

A=[α1,α2,…αT]=soft max(f(HW))    (1)其中,f(·)为激活函数,采用ReLU函数,W表示变换矩阵;

S43,利用权重得到加权统计量,如公式(2)和公式(3)所示:用[μ,σ]来表示一段语音信号;

S44,统计层中采用多头注意力机制,再将结果进行拼接,如公式(4)所示:Multi‑Head(μ,σ)=Comcat([μ1,σ1],[μ2,σ2],…[μh,σh])    (4)其中,[μ,σ]表示单个注意力机制计算得到的结果;

S5:打分判决,利用概率线性判别分析算法PLDA对两个待测样本的似然对数比得分和预设条件进行判定,给出两个样本是否为同一个说话人的判断,所述S5包括步骤:S51,将X‑Vector进行因子分析,计算如公式(5)所示,Pi=m+Φβ+εγ     (5)

其中,m为训练数据全局均值,Φ为描述说话人类间差异的子空间矩阵,β是满足标准正态分布特征的隐含因子,且与说话人身份相关,εγ是对角矩阵∑的残余项;

S52,在决策打分环节,依次用η1、η2进行描述,两者的对数似然比的计算如公式(6)所示,其中,Rs表示η1和η2来自同一个说话人的条件,Rd表示η1和η2来自不同说话人的条件。