1.一种基于CNN融合特征的说话人辨认系统,其特征在于,包括以下步骤:步骤1、对输入语音信号进行预处理并获取语谱图;
步骤2、利用语谱图对卷积神经网络进行训练;
步骤3、寻找最优的单层特征并构建新的卷积神经网络对特征进行融合,将新的融合特征作为输入从而完成说话人识别。
2.根据权利要求1所述的一种基于CNN融合特征的说话人辨认系统,其特征在于,步骤1的操作步骤包括:步骤1-1、输入一段.wav格式的语音信号,对每一句输入的时域连续语音信号进行采样,然后对其进行预处理,使每段语音得到M帧信号;
步骤1-2、对预处理后的信号进行傅里叶变换,每帧数据按时序连接形成频谱,对频率段实施对数非线性缩放,将频率域转换成对数领域,得到每段语音的语谱图。
3.根据权利要求2所述的一种基于CNN融合特征的说话人辨认系统,其特征在于,步骤
1-1中,所述预处理包括预加重、分帧、加窗预处理技术。
4.根据权利要求2所述的一种基于CNN融合特征的说话人辨认系统,其特征在于,步骤
1-2的操作步骤为对预处理后的每帧语音信号进行短时傅里叶变换,得到信号 ,然后使每帧信号按照时序连接形成频谱得到周期图 ,公式为:其中m表示总的帧数,n表示每帧的帧长;
然后根据得到的周期图 进行取对数运算,得到 ,计算式如下:在将 和 根据时间和频率刻度变换为 和 ,将 画成二维图形即得到了信号的语谱图。
5.根据权利要求1所述的一种基于CNN融合特征的说话人辨认系统,其特征在于,步骤2的操作步骤包括:步骤2-1、对CaffeNet网络神经元结点之间的连接权值进行初始化,并将步骤1得到的语谱图尺寸转为统一大小;
步骤2-2、在卷积层,利用卷积核对步骤2-1预处理后的语谱图进行卷积操作;
步骤2-3、卷积操作后,在卷积层的后面加入一个非线性的激活函数,所述非线性激活函数为ReLU函数;
步骤2-4、在池化层,利用平均池化函数对步骤2-3得到的图形进行处理;
步骤2-5、对处理后的图形,通过全连接层的前向传播,得到网络输出值y;
步骤2-6、通过计算网络输出值 与理想期望输出值 之间的损失函数 ,公式为:;
式中 表示所要分类的目标类别数,即输出层的节点个数; 分别表示网络节点间的连接权值和偏置; 表示第i类输出的实际值, 表示第i类的理想期望输出值;
步骤2-7、比较 与设定阈值的大小,若损失函数值大于设定阈值,则继续步骤2-
8;若损失函数小于设定阈值,则得到的权值为目标值,训练结束进行步骤3;
步骤2-8、将网络误差,即损失函数值传回网络中,依次求得全连接层、池化层、卷积层的误差,根据求得的全连接层、池化层、卷积层的误差来更新每层之间连接的权值,重新进行前向传播,继续进行步骤2-2 2-7。
~
6.根据权利要求5所述的一种基于CNN融合特征的说话人辨认系统,其特征在于,步骤
2-8中,获得全连接层、池化层、卷积层的误差的步骤包括:在求出网络的总损失函数值后,进行反向传播,将误差传入输出层的上一层全连接层,求出该层中产生了多少误差;找出全连接层的哪些节点与输出层连接,然后用误差乘以节点的权值,求得每个节点的误差;在池化层,根据上层传递过来的误差,若采用的是最大池化方法,则直接把误差传到上一层连接的节点中,如果采用的是平均池化,则误差平均分布在上一层中,池化层不需要进行权值更新,只是将误差传到上一层网络中;卷积层中,根据上一层池化方法,求得每个节点误差,然后对卷积层误差进行最外层全零填充,并将卷积核进行一百八十度旋转,再用旋转后的卷积核卷积填充过程的误差矩阵,得到了上一层的误差。
7.根据权利要求1所述的一种基于CNN融合特征的说话人辨认系统,其特征在于,步骤3的操作步骤包括:步骤3-1、根据步骤2训练好的5层CaffeNet网络,分别提取二、三、四、五层的特征进行说话人识别,通过对比识别率选出两个最优特征,其中一个代表深层特征,一个代表浅层特征;
步骤3-2、构建一个新的卷积神经网络,所述新的卷积神经网络包括一个主干、两个分支和三个全连接层;经过步骤2-1预处理后的语图谱输入后先经过主干,然后分别输入到上、下两个分支,得到两个特征图,其中上分支提取的浅层特征,下分支提取的是深层特征;
步骤3-3、统一两个特征图的图形大小,每个图形都由一个个基本像素点组成,其中每个像素点的值代表该点的特征,将两个特征图对应通道上的像素点值进行相加,得到一个新的特征图;
步骤3-4、将新的特征图依次输入到三个全连接层,其中最后一个全连接层的节点数量与说话人个数相同,然后输入到输出层的分类函数中完成说话人识别。
8.根据权利要求6所述的一种基于CNN融合特征的说话人辨认系统,其特征在于,步骤
3-2中,所述主干包括两个卷积层和两个池化层,上分支包括两个卷积层和一个池化层,下分支包括一个卷积层和一个池化层。