1.一种基于融合通道注意力机制的残差模块的声音事件定位与识别方法,其特征在于,包括如下步骤:
步骤一:声事件数据集的采集与预处理,采集多通道的音频数据集,使用一阶Ambisonics FOA格式信号,然后对数据进行预处理得到多通道的对数梅尔频谱和FOA强度向量;
步骤二:特征提取,将步骤一得到的对数梅尔普图和强度向量输入到融合通道注意力机制的残差模块网络中提取所需特征;
步骤三:音频事件检测SED:对步骤二得到的特征使用一个全连接神经网络对每个时刻的特征进行分类,每个时间步长上,SED任务输出一个二值分类标签,表示该时间步长是否存在声音事件,以确定是否存在音频事件;
步骤四:音频事件定位SEL:对步骤二得到的特征使用另一个对每个时刻的特征进行回归任务,每个时间步长上,SEL任务输出一个四元组,表示声音事件在三维空间中的位置和持续时间;
步骤五:多任务学习:将音频数据划分为训练集、验证集以及测试集,搭建融合通道注意力机制的残差对音频数据进行训练,将SED和SEL任务的损失函数结合起来,使用联合训练的方法进行优化;
步骤六:使用预先定义的评估指标对模型进行评估,并与其他方法进行比较,以确定其性能是否足够优秀。
2.根据权利要求1所述的基于融合通道注意力机制的残差模块的声音事件定位与识别方法,其特征在于,步骤一中,音频数据的预处理方法,将采集到数据保存为四通道的FOA格式,采样频率为24KHz,使用1024点FFT,40毫秒的汉宁窗口和20毫秒的跳跃长度计算四通道频谱图,从频谱图中提取了64个mel频带的对数梅尔频谱图;从FOA谱图中计算每个STFT频段的声学强度矢量的空间特征,并被聚合到类似数量的Mel频带中为网络提供输入。
3.根据权利要求1所述的基于融合通道注意力机制的残差模块的声音事件定位与识别方法,其特征在于,步骤三中,对于声音事件定位与识别解码器,我们采用了双线性门控循环单元,然后跟随层归一化和双曲正切激活;然后,通过应用两个全连接层和双曲正切激活来获取声音事件定位与识别输出;最终,对于每个时刻,根据预测的类别概率计算每个事件的位置和持续时间。
4.根据权利要求1所述的基于融合通道注意力机制的残差模块的声音事件定位与识别方法,其特征在于,步骤二中,使用了SE残差模块;残差块使网络的感受野进行了提升,对卷积神经网路在更细粒度级别的多尺度表达能力进行了更进一步的探索,对网络的特征提取能力进行了大幅的提升;挤压与激励模块将声音每个通道的时域和频域坐标挤压为一个标量值,然后对其进行激励,最后和对应的通道特征图进行重加权操作,实现全局空间信息融合。
5.根据权利要求1所述的基于融合通道注意力机制的残差模块的声音事件定位与识别方法,其特征在于,步骤五中,该模型使用多任务学习框架来同时学习SED和SEL任务;具体来说,我们使用两个不同的输出分支,一个用于预测SED任务,另一个用于预测SEL任务;两个分支共享相同的输入特征,并通过共享卷积层来学习特征表示;同时,我们使用不同的分类器来处理SED和SEL任务的分类;在训练过程中,我们采用多任务损失函数来同时优化两个任务的性能,从而使得模型能够同时处理SED和SEL任务。