1.一种火灾烟雾火焰图像识别方法,其特征在于,包括以下步骤:
步骤S1:创建火灾烟雾火焰图像数据集;
步骤S2:对YOLOv5s模型改进得到用于识别火灾烟雾火焰图像的火灾识别模型;
步骤S3:对火灾烟雾火焰图像进行数据增强,将通过数据增强后的火灾烟雾火焰图像输入到火灾识别模型进行训练,得到训练好的火灾识别模型;
步骤S4:将火灾烟雾火焰图像输入至训练好的火灾识别模型中,得到火灾烟雾火焰图像的识别结果;
步骤S2包括:S21:对YOLOv5s模型进行结构改进;火灾识别模型由Backbone网络、Neck网络和Prediction三部分组成;Backbone网络使用深度可分离卷积;
S22:在Backbone网络的底层添加关注通道数的注意力机制模块;
S23:在火灾识别模型的Neck网络引入无参数注意力机制模块。
2.根据权利要求1所述一种火灾烟雾火焰图像识别方法,其特征在于,步骤S1具体为,S11:对火灾视频切帧,得到火灾烟雾火焰图像,构造火灾烟雾火焰场景标注,形成火灾烟雾火焰图像数据集;
S12:将火灾烟雾火焰图像数据集按比例划分为训练集、验证集和测试集;
S13:使用图像矩形框标注工具LabelImg对火灾烟雾火焰图像中的烟雾和火焰进行标注,获得目标物的坐标、宽高及目标物名称信息,以xml文件形式保存制成火灾烟雾火焰图像数据集中图像对应的标签。
3.根据权利要求1所述一种火灾烟雾火焰图像识别方法,其特征在于,步骤S21中,Backbone网络包括依次连接的第一卷积层、两个第一模块1、两个第二模块1、第三模块1、第四模块1、第五模块1、六个第六模块1、模块2;
其中,两个第一模块1、两个第二模块1的卷积核均为3x3;第三模块1、第四模块1卷积核均为3x3;第五模块1、六个第六模块1的卷积核均为5x5;
Neck网络包括依次连接的第二卷积层、第一上采样层、第一融合层、三个第一模块3、第三卷积层、第二上采样层、第二融合层、三个第二模块3、第一模块4、第七模块1、第三融合层、三个第三模块3、第二模块4、第八模块1、第四融合层、三个第四模块3、第三模块4;
其中,第七模块1、第八模块1的卷积核均为5x5;
所述第三模块1的输出端和第二融合层的输入端连接,所述第五模块1的输出端和第一融合层的输入端连接,所述第三卷积层的输出端和第三融合层的输入端连接,所述第二卷积层的输出端和第四融合层的输入端连接;
火灾烟雾火焰图像经过第一卷积层、两个第一模块1、两个第二模块1、第三模块1得到第一特征图,第一特征图经过第四模块1、第五模块1得到第二特征图,第二特征图经过六个第六模块1、模块2得到第三特征图;
第三特征图经过模块2进行特征融合后通过第二卷积层进行卷积、第一上采样层进行上采样得到上采样特征图,上采样特征图与第二特征图进行特征融合,得到第一特征融合图;第一特征融合图依次通过三个第一模块3、第三卷积层、第二上采样层后与第一特征图进行特征融合,得到第二特征融合图;第二特征融合图依次通过三个第二模块3、第一模块4后获得第一输出特征图;
第二特征融合图依次通过三个第二模块3、第一模块4、第七模块1后与第一特征融合图依次通过三个第一模块3、第三卷积层的特征图进行特征融合,得到第三特征融合图;第三特征融合图依次经过三个第三模块3、第二模块4获得第二输出特征图;
第三特征融合图依次经过三个第三模块3、第二模块4、第八模块1后与经过第二卷积层的第三特征图进行特征融合操作,得到第四特征融合图;第四特征融合图通过三个第四模块3与第三模块4,从而获得第三输出特征图。
4.根据权利要求3所述一种火灾烟雾火焰图像识别方法,其特征在于,两个第一模块1、两个第二模块1、第三模块1、第四模块1、第五模块1、六个第六模块1、第七模块1、第八模块1:均包括依次连接的逐层卷积层、逐点卷积层、全局平均池化层、第一全连接层和第二全连接层;其中,逐层卷积层、逐点卷积层构成深度可分离卷积,逐层卷积层、逐点卷积层、第一全连接层使用SiLU激活函数,第二全连接层使用h-sigmoid激活函数;
步骤S21中深度可分离卷积分为逐层卷积层、逐点卷积层;
步骤S22中关注通道数的注意力机制模块为全局平均池化层、第一全连接层和第二全连接层;
模块2:包括采用多残差依次连接的卷积层、第一最大池化层、第二最大池化层、第三最大池化层、融合层;
三个第一模块3、三个第二模块3、三个第三模块3、三个第三模块3:均由7个或5个依次连接的卷积层以及一个融合层组成;
第一模块4、第二模块4、第三模块4:为步骤S23中无参数注意力机制模块,无参数注意力机制模块由依次连接的Sigmoid激活函数和能量函数组成。
5.根据权利要求4所述一种火灾烟雾火焰图像识别方法,其特征在于,所述SiLU激活函数公式如下:其中,Sigmoid激活函数表示为:
。
6.根据权利要求5所述一种火灾烟雾火焰图像识别方法,其特征在于,步骤S23中所述能量函数,其计算公式为:其中,Et为能量函数,,,为单一通道上的神经元数量,为目标神经元,为其他神经元,系数,每个神经元的重要性通过计算获得。
7.根据权利要求6所述一种火灾烟雾火焰图像识别方法,其特征在于,步骤S3中对火灾烟雾火焰图像数据集进行数据增强,具体为,对火灾烟雾火焰图像数据集中多张火灾烟雾火焰图像随机缩放、随机裁剪、随机排布的方式进行拼接,实现Mosaic数据增强。
8.根据权利要求7所述一种火灾烟雾火焰图像识别方法,其特征在于,步骤S3中将通过数据增强后的火灾烟雾火焰图像输入到火灾识别模型进行训练,具体为:S31:训练集输入到火灾识别模型中,根据预设参数与预设训练迭代次数进行特征提取,并将火灾烟雾火焰图像划分成若干个特征点;
S32:将特征点进行位置偏移并根据落入疑似火灾区域的特征点给出多个预测框;通过预测框的得分排序筛选出满足置信度的预测框,并通过非极大值抑制防止同一种类的预测框堆积并筛选出得分最大的预测框,从而获得最优的火灾烟雾火焰位置;
S33:对训练集中的火灾烟雾火焰图像进行重新贴灰条零填充处理以使得火灾烟雾火焰图像的长宽相同,通过训练过程中火灾识别模型生成的预测框,使用基于损失函数的非极大值抑制,获取置信度最大的火灾烟雾火焰预测框;
S34:将整个火灾识别模型迭代训练过程中验证集损失最小的模型参数作为火灾识别模型的预测参数,得到训练好的火灾识别模型。
9.根据权利要求8所述一种火灾烟雾火焰图像识别方法,其特征在于,步骤S33中损失函数的计算公式为:其中:
其中,B、分别为预测框和真实框,b、分别为预测框和真实框的中心点位置,为预测框和真实框的中心点之间的欧氏距离,、分别为预测框和真实框的长宽比,w、h分别为预测框的宽和高,、分别为真实框的宽和高。
10.根据权利要求1所述一种火灾烟雾火焰图像识别方法,其特征在于,步骤S4具体为:对于训练好的火灾识别模型进行格式转换得到所需精度的ONNX模型,将ONNX模型转为合适的边缘智能模型,将边缘智能模型部署到边缘智能设备,对边缘智能设备端拍摄的实时视频处理成火灾烟雾火焰图像输入至火灾识别模型,在边缘智能设备的边缘端完成对火灾烟雾火焰的高效识别与实时检测,边缘智能模型对火灾识别模型的输出进行解码得到火灾烟雾火焰的类别、置信度分数和所在位置。