1.一种基于多任务学习的音频场景识别方法,其特征在于,包括:步骤(1):获取音频数据库,对每个音频场景片段进行分帧处理,提取每帧的音频特征,每个音频片段内所有帧的音频特征构成该音频片段的特征矩阵,构建音频特征训练集,并为每个音频场景片段添加音频场景标签;
步骤(2):采用聚类方法为音频特征训练集中的每个音频帧添加音频事件标签;
步骤(3):构建音频事件与音频场景识别模型,将步骤(1)中的音频片段的特征矩阵输入音频事件与音频场景识别模型中,基于当前音频片段的场景标签和音频场景识别输出层的输出求取交叉熵L1,同时基于当前音频片段中音频帧的音频事件标签和音频事件检测输出层的输出求取交叉熵,进而得到当前音频片段所有帧的交叉熵和L2;
步骤(4):基于交叉熵L1和交叉熵和L2构造损失函数,基于该损失函数对音频事件与音频场景识别模型进行训练,得到训练好的音频事件与音频场景识别模型;
步骤(5):对待识别的音频片段,用和步骤(1)中同样的方法对其进行分帧处理,提取每帧的音频特征,音频片段内所有帧的音频特征构成待识别音频片段的特征矩阵;将待识别音频片段的特征矩阵输入训练好的音频事件与音频场景识别模型,在音频场景识别输出层得到待识别音频片段在各个音频场景类上的概率分布,取具有最大概率值的音频场景类作为识别结果。
2.根据权利要求1所述的基于多任务学习的音频场景识别方法,其特征在于,所述步骤(1)包括:
步骤(1‑1):对数据库中每个音频场景片段进行分帧处理,并对每帧提取音频场景识别领域常用的音频特征:40维logmel特征,得到每个音频场景片段的尺寸为40×n的logmel特征矩阵,n表示音频场景片段中包含的帧的数量;
步骤(1‑2):对每个音频场景片段,采用one‑hot向量形式为其添加音频场景标签:对于数据库中的第i类场景,其场景标签为[0,0,…,1,0,…,0],标签向量只在第i维的值为1,在其它维度上的值都为0;
步骤(1‑3):得到带有音频场景标签的音频特征训练集。
3.根据权利要求1所述的基于多任务学习的音频场景识别方法,其特征在于,所述步骤(2)包括:
步骤(2‑1):以音频特征训练集中每个音频帧为一个样本,对音频特征训练集中的所有样本进行聚类,聚类的簇的数量设置为数据库中音频事件的类别数M;
步骤(2‑2):对每个样本,求其与各个簇中心的欧式距离的倒数,并进行softmax归一,将归一化后的距离倒数向量softmax([1/d1,1/d2,…,1/dM])作为样本的音频事件标签;其中,d1表示样本与第一个簇的簇中心的欧式距离,d2表示样本与第二个簇的簇中心的欧式距离,dM表示样本与第M个簇的簇中心的欧式距离,softmax(·)表示softmax归一化;
步骤(2‑3):为音频片段中的每个音频帧添加了音频事件标签,得到带有音频事件标签的音频帧。
4.根据权利要求1所述的基于多任务学习的音频场景识别方法,其特征在于,所述步骤(3)包括:
步骤(3‑1):从音频特征训练集中按顺序选择一个音频片段,记该音频片段的logmel特征矩阵为G,将其分别作为音频事件与音频场景识别模型的输入,在音频事件检测模型的卷积神经网络输出端得到特征矩阵E,在音频场景识别模型的卷积神经网络输出端得到特征矩阵S;
T
步骤(3‑2):由特征矩阵S,E求得注意力系数矩阵A:A=S·E;
步骤(3‑3):由注意力系数矩阵A和特征矩阵E构造音频场景特征向量R:R=flattenT
(E·A);其中flatten(·)表示将矩阵通过各行首尾相接的方式展开成向量;
步骤(3‑4):根据该音频片段的场景标签和音频场景识别输出层的输出求交叉熵,记作L1;
步骤(3‑5):对该音频片段中的各个帧,根据其音频事件标签和音频事件检测输出层的输出求交叉熵,将该音频片段中所有帧的交叉熵求和,记此交叉熵和为L2。
5.根据权利要求1所述的基于多任务学习的音频场景识别方法,其特征在于,所述步骤(4)包括:
步骤(4‑1):令L=L1+L2,以L为整个网络模型的损失函数,对音频事件与音频场景识别模型进行训练;
步骤(4‑2):重复步骤(3)‑步骤(4‑1),直至损失函数值L小于预设的阈值;
步骤(4‑3):输出训练好的音频事件与音频场景识别模型。
6.根据权利要求1所述的基于多任务学习的音频场景识别方法,其特征在于,所述音频事件与音频场景识别模型包括:两个结构相同的卷积神经网络,每个卷积神经网络包括两层卷积层和一层最大池化层。
7.根据权利要求6所述的基于多任务学习的音频场景识别方法,其特征在于,所述卷积层的卷积步移stride参数设置为1,所述最大池化层的窗口尺寸设置为C×1×1,C表示第二层卷积层输出的通道数量。
8.一种基于多任务学习的音频场景识别装置,其特征在于,包括:音频特征训练集构建模块,其被配置为:获取音频数据库,对每个音频场景片段进行分帧处理,提取每帧的音频特征,每个音频片段内所有帧的音频特征构成该音频片段的特征矩阵,构建音频特征训练集,并为每个音频场景片段添加音频场景标签;
音频事件标签添加模块,其被配置为:采用聚类方法为音频特征训练集中的每个音频帧添加音频事件标签;
模型构建模块,其被配置为:构建音频事件与音频场景识别模型,将音频片段的特征矩阵输入音频事件与音频场景识别模型中,基于当前音频片段的场景标签和音频场景识别输出层的输出求取交叉熵L1,同时基于当前音频片段中音频帧的音频事件标签和音频事件检测输出层的输出求取交叉熵,进而得到当前音频片段所有帧的交叉熵和L2;
模型训练模块,其被配置为:基于交叉熵L1和交叉熵和L2构造损失函数,基于该损失函数对音频事件与音频场景识别模型进行训练,得到训练好的音频事件与音频场景识别模型;
识别结果输出模块,其被配置为:提取待识别音频片段的特征矩阵,将待识别的音频片段的特征矩阵输入训练好的音频事件与音频场景识别模型,在音频场景识别输出层得到待识别音频片段在各个音频场景类上的概率分布,取具有最大概率值的音频场景类作为识别结果。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1‑7中任一项所述的基于多任务学习的音频场景识别方法中的步骤。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1‑7中任一项所述的基于多任务学习的音频场景识别方法中的步骤。