欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024115253444
申请人: 广州大学
专利类型:发明专利
专利状态:已下证
专利领域: 乐器;声学
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度学习技术的大规模鸟声识别方法,其特征在于,包括:S1、使用项目区域录音设备采集项目区域附近的鸟声音频以得到野外录音数据;

S2、将从鸟声事件检测的竞赛Bird audio detection challenge 2018 - DCASE Task3中获取的三个数据集作为鸟声事件检测数据集,用于训练鸟声事件检测模型;

S3、将所述野外录音数据输入到训练后的鸟声事件检测模型中进行类别预测,以得到有效鸟声数据和背景噪声数据;

S4、从中国观鸟记录中心获取项目地区记录到的鸟种目录,同时在Xeno−Canto中下载对应鸟种的音频文件,并对所述音频文件进行数据预处理操作以得到鸟声识别数据集;

S5、使用所述背景噪声数据和所述鸟声识别数据集来训练鸟声识别模型;

S6、对训练后的鸟声识别模型进行验证;

S7、将所述有效鸟声数据输入到所述鸟声识别模型中进行标签预测,以得到识别结果;

其中,在所述鸟声事件检测模型和所述鸟声识别模型的构建过程中,将所述鸟声事件检测数据集中的频谱图和所述鸟声识别数据集中的频谱图分别作为输入,并选择ECAPA-TDNN模型作为模型基础架构,具体的模型构建过程为:对鸟声事件检测数据集中的频谱图和鸟声识别数据集中的频谱图分别进行频带分割预处理,生成具有不同频带特征的子带Z;

对分割后的频带特征进行L2归一化处理,并连接全连接层以增加特征之间的复杂关联性;

采用基于稀疏矩阵的加速策略,使用COO存储格式,对稀疏矩阵中的非零元素进行矩阵乘法运算,以提高计算效率和资源利用率;

使用ECAPA-TDNN模型捕捉频谱图的语音特征,其中ECAPA-TDNN模型结合了膨胀卷积、Res2Net结构和SENet模块;

在ECAPA-TDNN模型的输出后接上全连接层,将特征空间映射到类别空间;

其中,鸟声事件检测模型的全连接层输出2个节点,其输出的数值经过softmax函数后分别表示鸟声样本和噪声样本的概率,鸟声识别模型的全连接层输出179个节点,其输出的数值经过softmax函数后分别表示179种鸟类的概率。

2.根据权利要求1所述的基于深度学习技术的大规模鸟声识别方法,其特征在于,所述S4,包括:S41、人工检查所述音频文件的频谱图和波形图,过滤掉低质量、错误标签的音频;

S42、对长音频每30s切割一次,若最后一段音频不足30s,大于15s时则保留,低于15s则舍弃;

S43、删除长度小于2s的原始音频片段。

3.根据权利要求2所述的基于深度学习技术的大规模鸟声识别方法,其特征在于,所述S5,包括:S51,将所述鸟声识别数据集中声学信号的采样率统一为32,000 kHz,音频格式统一转换为无高频损耗的wav格式,以得到预处理后的音频数据;

S52,将预处理后的音频数据进行随机切片,切片长度统一为10s;

S53,对切片后的音频数据的幅度进行归一化处理;

S54,将所述背景噪声数据以50%的概率混入到归一化处理后的音频数据中,以得到音频样本数据;

S55,将音频样本数据的对数梅尔谱图进行频谱增强,其中包括在时域上随机掩码0至5帧,在频域上随机掩码0至10通道;

S56,使用语速扰动、音量增强和加入高斯噪声技术来训练模型。

4.根据权利要求3所述的基于深度学习技术的大规模鸟声识别方法,其特征在于,在所述S56过程中,采用逐步融合策略将基于角度间隔的损失函数融入交叉熵损失函数,具体过程为:在训练初期依赖交叉熵损失函数来进行优化,此时,其公式为:随着模型逐步收敛,开始逐渐增大,逐步引入基于角度间隔的损失函数中的角度间隔,其公式为:在训练的后期,增长到接近 1 的较高值,此时基于角度间隔的损失函数占据主导地位,交叉熵损失的影响逐渐减小,其公式为:其中,是样本数,是类别数,是第个输入样本的特征,是分类层的权重,是正确类别,是增加的角度间隔,是一个可调节的尺度因子,代表第i个样本与它的正确类别权重之间的角度,是训练步长,为随训练步长逐渐变化的权重系数。

5.根据权利要求4所述的基于深度学习技术的大规模鸟声识别方法,其特征在于,在所述S56过程中,采用自适应学习率调整策略提升模型的训练效率和泛化能力,具体操作为:在模型训练的早期阶段,通过warmup策略逐渐增加学习率,使用Adam优化器加速模型的收敛;

设置batch size为64;

在模型训练过程中,系统根据损失函数的变化情况,动态调整训练epoch的数量;

在训练的后期,采用余弦退火的方式逐渐降低学习率,以进行精细调优。

6.根据权利要求5所述的基于深度学习技术的大规模鸟声识别方法,其特征在于,所述S6,为了比较与评估本方法中各个模型性能,使用以下评估指标:其中,表示真阳性样本、表示真阴性样本、表示假阳性样本、表示假阴性样本。

7.根据权利要求6所述的基于深度学习技术的大规模鸟声识别方法,其特征在于,所述S7,使用两种策略来判定正确识别结果,分别为:第一种策略,取鸟声识别模型输出概率0.7作为判断正确的阈值,即输出概率大于或等于0.7的音频样本作为模型正确识别样本;

第二种策略,在第一种策略的基础上,进一步采用“连续增强识别策略”对模型识别结果进行后处理。

8.根据权利要求7所述的基于深度学习技术的大规模鸟声识别方法,其特征在于,所述第二种策略,包括:当识别到一种鸟类时,如果在前后30s内识别到同种鸟声但是其模型输出概率小于0.7且大于0.5时,则也将其作为正确识别样本输出。

9.一种基于深度学习技术的大规模鸟声识别系统,其特征在于,包括:鸟声音频采集模块,用于使用项目区域录音设备采集项目区域附近的鸟声音频以得到野外录音数据;

鸟声事件检测模型训练模块,用于将从鸟声事件检测的竞赛Bird audio detectionchallenge 2018 - DCASE Task 3中获取的三个数据集作为鸟声事件检测数据集,用于训练鸟声事件检测模型;

鸟声类别预测模块,用于将所述野外录音数据输入到训练后的鸟声事件检测模型中进行类别预测,以得到有效鸟声数据和背景噪声数据;

鸟声识别数据集获取模块,用于从中国观鸟记录中心获取项目地区记录到的鸟种目录,同时在Xeno−Canto中下载对应鸟种的音频文件,并对所述音频文件进行数据预处理操作以得到鸟声识别数据集;

鸟声识别模型训练模块,用于使用所述背景噪声数据和所述鸟声识别数据集来训练鸟声识别模型;

模型验证模块,用于对训练后的鸟声识别模型进行验证;

标签预测模块,用于将所述有效鸟声数据输入到所述鸟声识别模型中进行标签预测,以得到识别结果;

所述鸟声事件检测模型和所述鸟声识别模型基于权利要求1至8任一项所述的方法进行模型构建。