1.一种基于脉冲神经网络的未知音频事件识别算法,其特征在于,包括如下步骤:S1:构建音频数据集,并将所述音频数据集拆分为训练集、验证集和测试集;
S2:对音频数据集中的每段音频数据进行预处理,生成3D log-mel频谱图;
S3:构建脉冲神经网络模型,将测试集对应的3D log-mel频谱图输入至所述脉冲神经网络模型中进行分类训练;所述脉冲神经网络模型包括卷积层、多个脉冲神经单元、多层感知机MLP、重塑层和长短期记忆网络LSTM;所述脉冲神经单元包括两个脉冲单元和残差卷积,所述脉冲单元由卷积层、批归一化层和至少两个小脉冲神经元组成;
S4:使用交叉熵损失和对比损失联合训所述脉冲神经网络模型;
S5:使用验证集中的已知类别的音频数据输入至脉冲神经网络和自编码器,推理获得均方误差平均损失 ,设定为区分已知类别和未知音频类别的阈值;所述自编码器包括编码器和解码器,所述编码器包括输入层、至少两个隐藏层和输出层,所述解码器包括输入层、至少两个隐藏层和输出层;
S6:使用训练好的脉冲神经网络模型对采集的音频数据进行识别,并将脉冲神经网络模型输出的概率值输入至自编码器,通过自编码器判定输入数据属于已知类别还是未知类别,若脉冲神经网络模型输出的概率值高于所述阈值的则判定为未知类别,否则根据脉冲神经网络模型输出的概率值判断音频具体属于哪一已知类别。
2.根据权利要求1所述的一种基于脉冲神经网络的未知音频事件识别算法,其特征在于,所述步骤S2的具体步骤为:S201:将音频数据通过z-标准化转变为正态分布,使不同特征的音频数据具有相同的量纲和分布,便于脉冲神经网络模型学习,具体公式为:;
其中,x表示原始音频数据,表示原始音频数据的均值,表示原始音频数据的标准差,z表示z-标准化后的原始音频数据;
S202:使用梅尔滤波器组生成z-标准化后的原始音频数据对应的log-mel频谱图,并将所述log-mel频谱图中的log-mel频谱特征值作为音频数据的原始静态特征;
S203:对每一帧log-mel频谱计算前一帧和后一帧的差异,得到对应的一阶时间导数,即一阶Delta差分特征,使用一阶Delta差分特征捕捉特征随时间的变化;
求解一阶Delta差分特征的具体过程为:
选定用于计算一阶Delta差分特征的窗口大小N1,对于每个时刻t,分别计算每帧log-mel频谱特征值前后1~ N1帧的加权差分,并且对于前后n帧的加权差分,以作为归一化因子对加权差分结果进行归一化,具体公式为:;
其中,表示一阶Delta差分特征,Ct+n表示时间帧t处后n帧的log-Mel频谱特征值,Ct-n表示时间帧t处前n帧的log-Mel频谱特征值,n =1,2,……, N1;
S204:对一阶Delta差分特征计算前一帧和后一帧的差异,得到对应的二阶Delta差分特征,使用二阶Delta差分特征捕捉特征随时间变化的加速度信息,描述信号的动态变化特性;
求解二阶Delta差分特征的具体过程为:
选定用于计算为二阶Delta差分特征的窗口大小N2,分别计算每帧一阶Delta差分特征前后1~N2帧的加权差分,并且对于前后n帧的加权差分,以作为归一化因子对加权差分结果进行归一化,具体公式为:;
其中,表示表示第t帧的二阶Delta差分特征,表示第t+n帧的一阶Delta差分特征,表示第t-n帧的一阶Delta差分特征,n =1,2,……, N2;
S205:将步骤S202得到的log-mel频谱特征值、步骤S203得到的一阶Delta差分特征和步骤S204得到的二阶Delta差分特征按照特征维度进行堆叠,获得3D log-mel频谱信号。
3.根据权利要求2所述的一种基于脉冲神经网络的未知音频事件识别算法,其特征在于,所述步骤S202的具体步骤为:S2021:将z-标准化后的原始音频数据分成重叠的帧,每帧包含N3个样本,使用汉明窗减少频谱泄露,并获得加窗后的信号,具体公式为:;
;
其中,w[n]表示汉明窗,xw[n]表示加窗后得到的信号,x[n]表示每一帧的信号,0 ≤ n ≤ N3 -1;
S2022:对每帧加窗后的信号使用傅里叶变换进行离散,并计算每一帧离散信号的功率谱,具体公式为:;
;
其中,X[k]表示功率谱,P[k]表示每一帧离散信号的功率谱,k表示频率索引,j表示虚数单位;
S2023:将每帧信号的频率刻度和功率谱转换为Mel频谱刻度,并对所述Mel频谱刻度去对数得到log-Mel频谱图,具体公式为:;
;
;
其中,Hm[k]表示是 Mel 滤波器组的滤波器响应,f (m)表示第m个梅尔滤波器的中心频率,Sm表示通过 Mel 滤波器组计算出的 Mel 频谱能量。
4.根据权利要求3所述的一种基于脉冲神经网络的未知音频事件识别算法,其特征在于,所述步骤S3的具体步骤为:S301:将所述3D log-mel频谱信号输入至卷积层,按照批量和通道数进行形状重塑;
S302:通过脉冲神经单元对卷积层输出的频谱信号进行处理,以脉冲单元提供前后时间序列信息,具体步骤为:S3021:通过小脉冲神经元对频谱信号进行处理,捕获频谱信号的时间特征,具体过程为:;
;
;
其中,U[t]表示t时刻重置前的膜电位,S[t]表示t时刻的输出尖峰,当有尖峰时等于1,否则为0,T表示时间常数,影响膜电位的衰减速度,V[t-1]表示t-1时刻触发尖峰后的膜电位,I[t]表示在时间t时刻的输入电流,表示Heaviside阶跃函数,表示膜电位的阈值,当U[t]超过此值时,神经元会触发尖峰,V[t]表示t时刻触发尖峰后的膜电位,Vreset表示膜电位在触发尖峰后重置的值;
S3022:使用脉冲单元中的卷积层提取频谱信号的尺度不变信息,对每一帧输入I,设定卷积核大小为K,进行卷积操作,具体公式为:;
其中,S(u,v)表示卷积结果矩阵中第u行第v列的值,U表示卷积K的高度,V表示卷积K的宽度,I(u+a,v+b)表示输入矩阵I中第u+a行第v+b的值,K(a,b)表示卷积核K中第a行第b列的值;
S3023:使用批归一化层对脉冲单元中卷积层的输出进行标准化处理,以加速脉冲神经网络模型训练并提高其稳定性,具体公式为:;
;
;
其中,yi表示表示经过批归一化处理后的输出,表示第一可学习参数,用于缩放标准化后的值,xi表示批次中第i个样本的输入特征值,表示每一批次的特征求解均值,表示每一批次的特征方差,为常数,表示第二可学习参数,用于平移标准化后的值,Q表示批次中样本的数量;
S3024:脉冲单元提取完输入的频谱信号内的特异性特征后,通过残差卷积与输入的频谱信号进行融合,提高信息流的传播效率,脉冲神经单元的输出表达式为:Output = F(w) + Conv(w);
其中,Output表示脉冲神经单元的输出,w表示输入的特征,F表示两个脉冲单元的输出,Conv表示卷积操作;
S303:通过脉冲神经单元得到频谱信号的尺度不变特征,并对输出的特征图脉冲神经单元使用空间平均池化进行处理,获得特征向量;
S304:将所述特征向量依次输入多层感知机MLP、重塑层和长短期记忆网络LSTM进行处理,所述长短期记忆网络LSTM包括输入门、遗忘门和输出门,其中,sig表示激活函数sigmoid,用于将输入值映射到0到1之间,Wi表示输入门的权重矩阵,Wf表示遗忘门的权重矩阵,Wo表示输出门的权重矩阵,ht-1表示表示前一个时刻的隐藏状态,xt表示表示当前时刻的输入向量,bi表示输入门的偏置向量,bf表示遗忘门的偏置向量,bo表示输出门的偏置向量;根据当前输入和前一个隐藏状态生成的候选状态,其中,tanh表示表示双曲正切函数,用于将输入值映射到-1到1之间,Wc表示候选状态的权重矩阵,bc表示候选状态的偏置向量,通过遗忘门和输入门的调控,结合前一个单元状态 ct-1和候选状态更新得到单元状态;
S305:将长短期记忆网络LSTM输出的特征依次输入重塑层和多层感知机MLP进行处理,输入向量x1经过隐藏层计算,其中,表示隐藏层输出的特征向量,W1表示输入层到隐藏层的权重矩阵,b1表示隐藏层的偏置向量;将隐藏层输出的隐藏特征向量送入输出层进行运算,输出特征向量,其中,W2表示隐藏层到输出层的权重矩阵,b2表示输出层的偏置向量。
5.根据权利要求4所述的一种基于脉冲神经网络的未知音频事件识别算法,其特征在于,所述交叉熵损失和对比损失的计算公式为:;
;
其中,Lce表示交叉熵损失,BS表示批量数据的大小,xb表示第b个样本,yb表示第b个样本的标签,f (xb,yb)表示模型对样本xb在真实标签yb上的输出,D表示类别的总数,d表示类别索引,xb,d表示第b个样本在第d类上的输入,f (xb,d)表示输入数据的第d类的输出值,表示对比损失,P1表示批量数据中正样本的集合,x1表示当前样本,x1+表示与当前样本相似的正样本,即与当前样本属于同一类别的样本,表示温度参数,sim表示余弦相似度,x1-表示与当前样本不相似的负样本,即与当前样本属于不同类别的样本,Nneg表示批量数据中负样本的集合。
6.根据权利要求5所述的一种基于脉冲神经网络的未知音频事件识别算法,其特征在于,所述编码器输入层的节点数由脉冲单元的卷积层输出的特征图经过平均池化得到;在训练所述自编码器时,使用均方误差训练自编码器,具体公式为:;
其中,MSE表示均方误差,S表示样本数量,yae表示真实预测值,表示自编码器预测值。