1.一种基于脉冲神经网络和卷积神经网络的语音情感识别方法,其特征在于,包括:获取待识别语音信号,并对所述待识别语音信号进行预处理,得到预处理语音信号;
根据所述预处理语音信号生成动态脉冲信号,并利用脉冲神经网络对所述动态脉冲信号进行语音情绪识别,得到第一情绪识别矩阵;
根据所述预处理语音信号生成梅尔频谱图,并利用卷积神经网络对所述梅尔频谱图进行语音情绪识别,得到第二情绪识别矩阵;
根据所述第一情绪识别矩阵和所述第二情绪识别矩阵进行情感融合判断,输出所述待识别语音信号对应的基于机器人交互的情绪识别结果;
所述脉冲神经网络的脉冲神经元的数学模型为:
;
;
其中,和分别表示细胞膜的漏电导和总兴奋电导;
,其中表示细胞膜电容;
、、分别表示实际膜电位、漏电位和反转电位;
、、分别表示兴奋神经元的电导衰减、学习率以及从突触前神经元j到目标神经元i的连接权重;
所述根据所述预处理语音信号生成动态脉冲信号,并利用脉冲神经网络对所述动态脉冲信号进行语音情绪识别,之前还包括:采用远程监督方法,对所述脉冲神经网络进行训练:
;
其中,用于调整突触输入的平均强度,从而对神经元施加所需的脉冲活动水平;表示定义学习窗口形状的赫布项;
所述根据所述第一情绪识别矩阵和所述第二情绪识别矩阵进行情感融合判断,输出所述待识别语音信号对应的基于机器人交互的情绪识别结果,包括:采用加权方法融合所述第一情绪识别矩阵和所述第二情绪识别矩阵:;
;
;
根据加权融合结果输出所述待识别语音信号对应的基于机器人交互的情绪识别结果。
2.根据权利要求1所述的基于脉冲神经网络和卷积神经网络的语音情感识别方法,其特征在于,所述对所述待识别语音信号进行预处理,得到预处理语音信号,包括:根据预设窗口大小和预设步长对所述待识别语音信号进行分帧处理,得到固定长度的语音序列;
根据汉明窗函数对所述语音序列中的每个片段进行窗口化处理,得到所述预处理语音信号。
3.根据权利要求1所述的基于脉冲神经网络和卷积神经网络的语音情感识别方法,其特征在于,所述利用脉冲神经网络对所述动态脉冲信号进行语音情绪识别,得到第一情绪识别矩阵,包括:将所述动态脉冲信号输入所述脉冲神经网络,利用编码层进行编码,并通过兴奋层对编码后的脉冲信号进行阈值检测;
当所述编码后的脉冲信号对应的兴奋性神经元膜电位达到阈值时,利用所述兴奋层发射一个脉冲,并触发抑制层中对应的抑制性神经元的脉冲发射,输出得到所述第一情绪识别矩阵。
4.根据权利要求1所述的基于脉冲神经网络和卷积神经网络的语音情感识别方法,其特征在于,所述利用卷积神经网络对所述梅尔频谱图进行语音情绪识别,得到第二情绪识别矩阵,包括:将所述梅尔频谱图输入所述卷积神经网络,在梅尔标度的频域中提取逆频谱特征,并对提取的逆频谱特征进行分类,得到所述第二情绪识别矩阵。
5.一种基于脉冲神经网络和卷积神经网络的语音情感识别系统,用于实现如权利要求1-4中任意一项所述的基于脉冲神经网络和卷积神经网络的语音情感识别方法,其特征在于,包括:预处理模块,用于获取待识别语音信号,并对所述待识别语音信号进行预处理,得到预处理语音信号;
脉冲神经网络模块,用于根据所述预处理语音信号生成动态脉冲信号,并利用脉冲神经网络对所述动态脉冲信号进行语音情绪识别,得到第一情绪识别矩阵;
卷积神经网络模块,用于根据所述预处理语音信号生成梅尔频谱图,并利用卷积神经网络对所述梅尔频谱图进行语音情绪识别,得到第二情绪识别矩阵;
加权融合模块,用于根据所述第一情绪识别矩阵和所述第二情绪识别矩阵进行情感融合判断,输出所述待识别语音信号对应的基于机器人交互的情绪识别结果。
6.一种终端,其特征在于,包括:处理器以及存储器,所述存储器存储有基于脉冲神经网络和卷积神经网络的语音情感识别程序,所述基于脉冲神经网络和卷积神经网络的语音情感识别程序被所述处理器执行时用于实现如权利要求1-4中任意一项所述的基于脉冲神经网络和卷积神经网络的语音情感识别方法的操作。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有基于脉冲神经网络和卷积神经网络的语音情感识别程序,所述基于脉冲神经网络和卷积神经网络的语音情感识别程序被处理器执行时用于实现如权利要求1-4中任意一项所述的基于脉冲神经网络和卷积神经网络的语音情感识别方法的操作。