欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2018106852200
申请人: 南京邮电大学
专利类型:发明专利
专利状态:未下证
专利领域: 乐器;声学
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种语音情感识别方法,其特征在于,包括如下步骤:S1、将实验所用的语音数据转换成语谱图;

S2、对所得到的语谱图进行数据扩增处理;

S3、由传统卷积神经网络构建出融合深浅层特征的卷积神经网络;

S4、分别采用传统的卷积神经网络以及融合深浅层特征的卷积神经网络进行语音情感识别实验,比较二者的语音情感识别率;

所述融合深浅层特征的卷积神经网络包括输入层、中间层以及输出层,所述中间层包括卷积层、池化层以及全连接层;

所述卷积层的映射关系式为,

其中, 是第l个卷积层的第j个特征集合; 表示第l‑1个卷积层的第i个特征集合; 表示两个特征集合之间的卷积核;*表示二维卷积操作; 表示加项偏置;

所述池化层的映射关系式为,

其中,fp(·)是池化层的激活函数;down(·)表示l‑1层到l层的池化方法,包括均值池化和最大值池化两种方法; 和 分别表示乘偏置和加偏置;

经过最后一层池化层的各矩阵特征排列成一个向量,构成栅化层,所述栅化层与全连接层相连接,所述栅化层中任意一点j的输出关系式为,其中,fh(·)表示激活函数;wi,j表示输入向量xi与节点j之间的权值;θj是节点阈值;

所述全连接层采用Softmax模型解决多分类问题,Softmax的损失函数表达式为,其中, 表示第l层第j个神经元的输入; 表示了第l层所有神经元的输入之和;

表示第l层第j个神经元的输出;e表示自然常数;l(·)是指示性函数,当括号内结果为真,函数结果为1,括号内结果为假,函数结果为0;

在所述全连接层内,通过引入权值衰减项,实现对训练过程中过大参数的惩罚,具体表达式为,

其中, 为权值衰减项。

2.根据权利要求1所述的语音情感识别方法,其特征在于:S1所述语音数据来自德国柏林情感语音情感库;所述语音数据的采样频率为16KHZ、16bit量化;所述语音数据共包括七类感情,分别为生气,无聊,厌恶,害怕,高兴,中性,伤心。

3.根据权利要求1所述的语音情感识别方法,其特征在于,S1 所述将实验所用的语音数据转换成语谱图,包括如下步骤:S11、对每一段语音数据进行分帧处理,将其变为x(m,n),其中n为帧长,m为帧的个数;

S12、对x(m,n)进行FFT变换,得到X(m,n),做周期图Y(m,n),其中,Y(m,n)=X(m,n)*X(m,n)';

S13、取10*log10(Y(m,n)),将m根据时间变换刻度M,将n根据频率变换刻度N;

S14、将(M,N,10*log10(Y(m,n)))表示为二维图,得到语谱图。

4.根据权利要求1所述的语音情感识别方法,其特征在于,S2所述对所得到的语谱图进行数据扩增处理,包括如下步骤:使用keras深度学习框架对语谱图进行数据扩增处理,所述数据扩增处理包括随机旋转图像、水平平移、垂直平移、错切变换、图像缩放以及水平翻转操作。