1.基于双特征2-DenseNet并联的城市声音事件分类方法,其包括以下步骤:S1:采集待处理音频数据,对所述待处理音频数据进行预处理,输出音频帧序列;
S2:对所述音频帧序列进行时域和频域分析,分别提取梅尔频率倒谱系数和伽马通倒谱系数,并分别输出梅尔频率倒谱系数特征向量序列和伽马通倒谱系数特征向量序列;
S3:构建分类模型,并对所述分类模型进行训练,得到训练好的分类模型;
S4:将步骤S2中输出的所述梅尔频率倒谱系数特征向量序列、所述伽马通倒谱系数特征向量序列经过处理后,以双特征形式分为两路输入到所述训练好的分类模型中进行分类识别,得到的识别结果即为声音事件的分类结果;
其特征在于:
所述分类模型中,包括以DenseNet模型为基础、结合2阶马尔可夫模型的特点构建的网络模型,即2阶DenseNet模型;所述分类模型以2阶DenseNet模型为基础构建基础网络,所述基础网络设置为并联的两路;每路所述基础网络中,包括连续的2-DenseBlock结构,每个所述2-DenseBlock结构后面跟着一个Transition layer层;
步骤S4中,分别输入到并联的两路所述基础网络中的所述梅尔频率倒谱系数特征向量序列、所述伽马通倒谱系数特征向量序列,在所述基础网络中先依次进行一次卷积操作和一次池化处理,然后再输入到连续的所述2-DenseBlock结构、所述Transition layer层中;
通过所述基础网络处理后的特征向量序列先进行扁平化降维处理为一维数据,然后使用Concatenation对两路所述基础网络的输出进行合并,合并后的数据再经抑制过拟和处理后输入到全连接层中进行分类处理,最后分类结果经过向量归一化处理后输出。
2.根据权利要求1所述基于双特征2-DenseNet并联的城市声音事件分类方法,其特征在于:每个所述2-DenseBlock结构包括依次连接的特征图层,每个所述2-DenseBlock结构中所述特征图层之间的连接基于2阶马尔可夫模型的相关性连接,当前的所述特征图层输入只与前2个特征图层输出相关;
每个所述特征图层中包括连续的一个1*1卷积层和一个3*3的卷积层;在所述特征图层中,输入的数据在进入卷积层进行卷积处理之前,都先进行批量标准化处理和激活函数处理;从第三个所述特征图层开始,每个所述特征图层分别与前两个特征图层通过Concatenation进行合并级联;每个所述2-DenseBlock中的第一个特征图层与第二个特征图层之间加入一个dropout层。
3.根据权利要求2所述基于双特征2-DenseNet并联的城市声音事件分类方法,其特征在于:在所述2-DenseBlock结构中,当前的所述特征图层不使用Concatenation进行连接时,其为卷积层前向传播,通过卷积核规律性地扫过输入特征,在卷积核尺寸区域对输入特征做矩阵元素乘法求和并叠加偏差量,表达公式为:公式中:
l为每个所述2-DenseBlock结构中包括的所述特征图层的个数,
求和∑表示卷积层的前向传播过程,
xl-1、xl为第l个所述特征图层的输入与输出,
为卷积运算,w为核函数,b为偏置值,x(i,j)对应特征图上的像素,k为特征图的通道数,m,n为卷积核尺寸大小。
4.根据权利要求2所述基于双特征2-DenseNet并联的城市声音事件分类方法,其特征在于:在所述2-DenseBlock结构中,当前的所述特征图层使用Concatenation进行2阶连接时,当前的所述特征图层的输入来自其前面2层的输出,即对其前面2层的所述特征图层的特征进行Concatenation通道数合并级联,表达公式为:xl=H([xl,xl-1,xl-2])
公式中:
[xl,xl-1,xl-2]表示使用Concentration层将前面两层所述特征图层的输入进行通道数合并级联,H(·)函数表示对特征图依次使用卷积、批量标准化、激活函数操作后的结果。
5.根据权利要求1所述基于双特征2-DenseNet并联的城市声音事件分类方法,其特征在于:每个所述Transition layer层中包含一个卷积层和一个池化层,其中卷积核为1*1的卷积层进行特征降维处理;后接池化层,池化层处理可以减小矩阵的大小,减少最后全连接层的参数,表达公式为:公式中:
p是预指定参数;当p趋于无穷大时, 在池化区域内取极大值,l为每个所述2-DenseBlock结构中包括的所述特征图层的个数,k为特征图的通道数。
6.根据权利要求1所述基于双特征2-DenseNet并联的城市声音事件分类方法,其特征在于:所述分类模型中,通过所述基础网络处理后的特征向量序列先进行所述扁平化降维处理为为一维数据,然后使用Concatenation对两路所述基础网络的输出进行合并;对于两路一维数据的所述合并操作的表达公式为:L=Concate([L1,L2])
公式中:
两路所述基础网络输出后的数据扁平化为一维数据,分别记做:L1、L2。
7.根据权利要求1所述基于双特征2-DenseNet并联的城市声音事件分类方法,其特征在于:步骤S2中,提取梅尔频率倒谱系数和伽马通倒谱系数的时候,其具体维数提取包括:梅尔频率倒谱系数为:128mfcc+23mfcc_d+23mfcc_d_d,伽马通倒谱系数为:128gfcc。
8.根据权利要求1所述基于双特征2-DenseNet并联的城市声音事件分类方法,其特征在于:所述输出梅尔频率倒谱系数特征向量序列和伽马通倒谱系数特征向量序列的结构为
2维向量,第一位向量是对所述待处理音频数据的采样后的帧数,第二位向量是的特征的维数,即所述梅尔频率倒谱系数和所述伽马通倒谱系数的维数;在步骤S4中,以双特征形式分为两路输入到所述训练好的分类模型中进行分类识别之前,需要把所述的梅尔频率倒谱系数特征向量、所述伽马通倒谱系数特征向量从2维向量转换为3维向量,第3位向量是所述分类模型中的通道数。
9.根据权利要求1所述基于双特征2-DenseNet并联的城市声音事件分类方法,其特征在于:所述扁平化降维处理是在Flatten层通过Flatten()函数将多维数据扁平化为一维数据。
10.根据权利要求1所述基于双特征2-DenseNet并联的城市声音事件分类方法,其特征在于:所述抑制过拟和处理是通过一个全连接层和一个dropout层进行操作,对网络进行参数调整和抑制过拟合;
所述向量归一化处理为通过Softmax函数进行处理,Softmax函数公式为:公式中:
j=1,......,K,K指具体分类的类别数。