1.一种基于Recursive BIFPN网络的室外火灾烟雾图像检测方法,步骤包括:先采集火灾烟雾图片;然后使用火灾烟雾检测网络进行检测;其特征是使用火灾烟雾检测网络检测烟雾目标的步骤包括:步骤1)输入待检测火灾烟雾图片,利用YOLOV5主干网络提取特征,并输出提取到的三个不同分辨率的多尺度火灾烟雾特征图;
步骤2)构建Recursive BiFPN的特征融合网络,采用基于Recursive BiFPN的特征融合网络对步骤1)得到的多尺度烟雾特征进行特征融合处理;
步骤3)将Swin Transformer Encoder模块引入到了YOLOV5,取代YOLOV5原有的CSPDarknet53中的bottleneck blocks,构建具有全局建模能力的分类探测模块,采用基于Swin Transformer的探测头对步骤2)得到的融合特征进行分类预测,判断其火灾烟雾的存在以及其在图像中的位置;
所述步骤2)中:
2.1)将步骤1)中的三个不同分辨率的多尺度火灾烟雾特征图送入特征融合网络中;
2.2)构建Recursive BIFPN特征融合网络,对步骤2.1)得到的多尺度火灾烟雾特征进行融合,并对融合后的特征进行Recursive操作,与相同分辨率的原始特征再次融合,
2.3)将经过Recursive操作和二次融合操作后的特征输出;
所述步骤3)中:
3.1)将Swin Transformer Encoder模块引入到了YOLOV5,取代YOLOV5原有的探测头;
3.2)通过W-MSA在每个局部窗口中进行自注意力的计算,提取烟雾图片的局部特征;W-MSA是Window Multi-Head Self Attention的简称;
3.3)通过SW-MSA使相邻的两个窗口之间进行交互,达到全局建模的能力,进而提取火灾烟雾图片的全局信息;SW-MSA是Shifted Window Multi-Head Self Attention的简称;
3.4)根据不同窗口内的特征,最终分类并确定火灾烟雾所存在的位置;
Swin Transformer Encoder模块采用层次式结构,使得网络的感受野不同,用于提取火灾烟雾图像的局部特征和全局信息。
2.根据权利要求1所述的一种基于Recursive BIFPN网络的室外火灾烟雾图像检测方法,其特征是步骤2.2)中,构建Recursive BIFPN特征融合网络,步骤包括:
2.2.1)运用BIFPN对步骤1)的各个不同分辨率的多尺度火灾烟雾特征图进行第一次融合:先从低往高、再从高往低依次进行反卷积上采样和池化下采样,并将输入与输出级联,进而融合不同卷积层的多尺度火灾烟雾特征信息图;
2.2.2)将步骤2.2.1)中BIFPN第一次融合后的三个不同分辨率的特征图进行递归操作,即返回到原有的主干网络;
2.2.3)运用BIFPN将步骤2.2.2)返回的三个不同分辨率的多尺度火灾烟雾特征图与相应分辨率的主干网络得到多尺度火灾烟雾特征图二次融合,再次得到三个不同分辨率的多尺度火灾烟雾特征图;然后根据重要性的不同,对于不同分辨率的多尺度火灾烟雾特征图赋予相应的权重。
3.根据权利要求1所述的一种基于Recursive BIFPN网络的室外火灾烟雾图像检测方法,其特征是步骤3)中,使用Swin Transformer探测头在三个烟雾特征图,,上分别进行烟雾的位置信息回归与置信度预测,分别对火灾烟雾进行分类和定位,并对输出结果的得分排序,最终经过非极大值抑制层得到最终的预测结果,其中:每一个预测头都包含一个Swin Transformer encoder块,对应每一个疑似烟雾区域输出五个预测值,五个预测值分别代表预测烟雾的四个位置坐标和一个置信度;
对于所有预测头预测的结果进行得分排序,选取每一个疑似烟雾判定区域得分大于设定阈值的预测框,并认定为此处存在烟雾;
使用Swin Transformer探测头对非烟雾的干扰区域进行分类时,判别为非烟的干扰对象,不再输出位置信息和置信度;
对于重叠度高的预测框,认定为同一烟雾区域并进行非极大值抑制,最终得到置信度最高的烟雾区域为最终预测结果。
4.根据权利要求3所述的一种基于Recursive BIFPN网络的室外火灾烟雾图像检测方法,其特征是步骤3.2)中,通过W-MSA在每个局部窗口中进行自注意力的计算的方法为:设一个局部窗口被划分大小为的小窗口,则自注意力的计算公式如式(1):(1)
其中,为Transformer的query、key和value的矩阵;d的维数为query/key,B为Transformer的相关位置偏差;
Swin Transformer将Transformer的MSA变为W-MSA,令和分别为W-MSA模块和MLP模块的第个小窗口的输出特征,则和的递推公式分别如式(2)和式(3):(2)
(3)
其中,LN为Transformer的横向规范化操作。
5.根据权利要求1所述的一种基于Recursive BIFPN网络的室外火灾烟雾图像检测方法,其特征是步骤3.3)中,SW-MSA的输出特征计算公式如(4)和式(5):(4)
(5)
其中,LN为Transformer的横向规范化操作,和分别为W-MSA模块和MLP模块的第个小窗口的输出特征;
步骤3.3)通过SW-MSA使相邻的两个窗口之间进行交互,达到全局建模的能力,进而提取火灾烟雾图片的全局信息。