欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020111394727
申请人: 江西师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 乐器;声学
更新日期:2023-12-04
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于孪生卷积神经网络进行欺骗性语音检测的方法,其特征在于,包括如下步骤:(1)提取语音的高斯概率特征:

(a)对所有原始语音进行预处理;

(b)对预处理后的语音进行CQCC特征提取;

(c)对CQCC特征训练得到两个高斯混合模型;

(d)通过两个高斯混合模型提取语音的高斯概率特征;

(2)对语音进行欺骗性检测:

语音经过两个高斯混合模型提取特征后,得到二维矩阵,将二维矩阵输入到神经网络模型中进行语音欺骗性检测。

2.根据权利要求1所述的一种基于孪生卷积神经网络进行欺骗性语音检测的方法,其特征在于,对所有原始语音进行预处理,包括预加重、分帧和加窗:(1)预加重:语音信号的第n个采样点位x[n],预加重公式如下:x'[n]=x[n]-0.97*x[n-1](2)分帧:将预加重后的语音分成短时语音帧,每帧帧长位20ms,为确保声学特征参数的平滑性,采用重叠取帧的方式,相邻帧重叠部分为10ms;

(3)加窗:对每帧信号进行加窗处理,采用汉明窗函数,得到短时加窗的语音信号:xl[n]=w[n]*x[n+lL],0≤n≤N-1其中,w[n]=0.54-0.46cos(2πn/N-1)其中,w[n]是窗函数,N是窗长,l是帧索引,L是帧移。

3.根据权利要求2所述的一种基于孪生卷积神经网络进行欺骗性语音检测的方法,其特征在于,对预处理后的语音进行CQCC特征提取的方法包括:(1)常数Q变换:

将预处理后的语音时序信号x(n)进行常数Q变换,即得到频域信号XCQT(k);常数Q变换表示为:其中,k是频带数,Nk为可变窗函数, 是ak(n)的共轭复数;ak(n)可表示为:其中,fk是频率仓的中心频率,fs是采样率,Φk是相位相移,其中C是尺度函数,定义如下:(2)获取能量谱:

首先将经过常数Q变换得到的频域信号XCQT(k)表示为:XCQT(k)=a cosθkk+ja sinθkk=ak+jbk然后两边取平方得到能量谱:

(3)信号转换

对能量谱取对数将乘性信号转换为加性信号,得到log|XCQT(k)|2;

(4)均匀采样:

首先确定一个线性重采样周期Tl,其中 是递增的距离函数;

通过将第一个音程分成周期为Tl的d等份,因为高音程是低音程分辨率的两倍,则可得到在第二个音程为2d等份;如此类推,第j个音程为2j-1d等份,自然就能确定线性重采样周期了;通过求解kl得到线性分辨率:得到线性分布下的新采样频率Fl:

(5)离散余弦变换:

使用DCT对频谱压缩后的得到CQCC特征;其中L是重采样后的频带数,p=0,1,...,L-1;

4.根据权利要求3所述的一种基于孪生卷积神经网络进行欺骗性语音检测的方法,其特征在于,对CQCC特征训练得到两个高斯混合模型的方法为:训练集中包含多个真实语音和欺骗语音,分别将这两类语音的CQCC特征放在一起,采用EM方法分别训练得到2个M阶高斯混合模型;对于D维向量x,概率密度计算公式为:高斯混合分布的权重系数wi满足

概率密度是由M个正态高斯密度函数pi(x)组成:其中,D为特征向量维度大小,μi和Σi分别是高斯密度函数的均值和协方差矩阵。

5.根据权利要求4所述的一种基于孪生卷积神经网络进行欺骗性语音检测的方法,其特征在于,通过两个高斯混合模型提取语音的高斯概率特征的方法为:

1)对于每条语音的CQCC特征序列X={x1,x2,...,xN},提取高斯概率分布特征:对于特征xi,对应的高斯概率特征fi,由其在高斯混合模型分量的概率值计算得到。对于fi中的每个分量fij,计算公式为:fij=log(wj·pj(xi))

其中,wj为高斯混合模型的第j个分量权重,pj为特征在高斯混合模型第j个分量上的概率密度值;

2)对所有特征进行全局的均值方差归一化,计算所有语音的高斯概率特征的均值和方差,进行归一化其中,μf和σf是训练集中所有语音的高斯概率特征的均值与方差。

6.根据权利要求5所述的一种基于孪生卷积神经网络进行欺骗性语音检测的方法,其特征在于,神经网络模型结构为:

1)卷积层:包括多个一维卷积滤波器函数,窗口大小分别是2,3,4,5,6,7;

卷积层的输入是经前面步骤后得到的语音特征,设语音帧数为T,语音转换成大小为

512*T的二维向量X,输入到一维卷积层,卷积公式是:其中,wi,j是滤波器的权重系数,b是偏移量,wl是滤波器的窗口大小;二维特征矩阵经过一个滤波器后,得到一维矩阵Y,长度为T;系统中滤波器数量为512,得到512个一维向量,直接拼接组成一个大小为512*T的二维向量;系统中窗口大小设置6个不同的值,这样得到6个二维向量,直接拼接组成大小为3072*T的二维向量;

2)池化层:对卷积层的输出的二维向量,用一维最大池化层获得固定大小为3072的一维向量Z,每个元素的值Zl的计算公式是:Zi=max({Yi,j})

池化层对卷积层的输出二维矩阵Y,沿着帧数方向取最大值,获得一维向量;由于前面特征提取的时候,根据两个高斯混合模型得到两组高斯概率特征,经过卷积层和池化层,得到两个大小为3072的一维向量,将这两个向量简单串接起来得到大小为6144的一维向量;

3)全连接层:全连接层包含512个神经元节点,输出是大小为512的一维向量,其中每个节点的输出Pi计算公式是:其中,wi,j是滤波器的权重系数,b是偏移量,f是ReLU激活函数:f(x)=max(0,x)

4)输出层:输出层包含2个神经元节点,分别表示分类的结果是真实语音Q0还是欺骗语音Q1;

其中wi,j是滤波器的权重系数,b是偏移量,h是Sigmoid激活函数:最后根据O的两个元素值大小判断语音是正常语音还是欺骗语音。

7.根据权利要求6所述的一种基于孪生卷积神经网络进行欺骗性语音检测的方法,其特征在于,采用交叉熵损失函数训练神经网络,表示如下:其中,K是神经网络输出的节点数,i是输出层节点索引,是真实的标签,zi是输出层第i个节点的原始输出,yi是其激活输出。