欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022108528956
申请人: 南京林业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于轻量级长短距离注意力transformer网络的火灾图像检测方法,步骤包括:先采集火焰图片;然后使用火焰检测网络进行检测;其特征是使用火焰检测网络检测火焰图片的步骤包括:

1)利用设计的轻量级特征提取主干网络处理输入待检测火焰图片,并输出提取到的三个不同分辨率的多尺度火焰特征;

2)构建基于BiFPN的特征融合网络对步骤1)得到的多尺度火焰特征进行特征融合处理,并输出融合了三个不同分辨率层的融合特征;

3)火焰检测网络的分类层对步骤2)得到的融合特征进行分类预测,判断火焰的存在以及其在图像中的位置;

所述步骤1)中:

1.1)使用一个标准卷积模块对输入火焰图片中的火焰特征进行特征预提取,建立一个可供网络学习的初始化特征张量;

1.2)使用四组深度可分离卷积模块对初始化特征张量进行深度特征提取,并缩减火焰特征图的尺寸,四个深度可分离卷积模块分为两个深度卷积步长为1的不改变特征图尺寸的深度分离卷积模块和两个深度卷积步长为2的减半特征图尺寸的深度可分离卷积模块;

1.3)将transfromer模块引入到深度可分离卷积模块,构建基于长短距离注意机制的轻量级transformer模块;transformer模块用于在不受拍摄距离的影响的前提下提取火焰图像的全局特征;

1.4)将三组依次串行连接的长短距离注意机制轻量级transformer模块嵌入到火焰特征提取主干网络,提取火焰图像的局部和全局特征;

1.5)每一组长短距离注意机制的轻量级transformer模块都使得输入的火焰特征图的尺寸减半,并将该分辨率层的火焰特征图输出至特征融合模块;

通过步骤1.4)和步骤1.5)处理当前图片的火焰特征图之后,得到三个不同分辨率的火焰特征图,并将这三个不同分辨率的火焰特征图送入步骤2)进行处理;

所述步骤2)中:

2.1)在特征融合网络中,将步骤1.4)得到的三个不同分辨率火焰特征图先从低往高、再从高往低依次进行反卷积上采样和池化下采样,并将输入与输出级联,进而融合不同卷积层火焰特征信息;

2.2)重复步骤2.1)两次,最终得到三个待检测火焰的特征图;

步骤1.3)中,使用transformer机制为深度可分离卷积模块添加全局注意力,构建基于长短距离注意机制的轻量级Transformer模块,步骤包括:

1.3.1)对于输入的火焰特征图经过一个3×3卷积层和一个1×1卷积层进行局部特征表达;然后对处理后的特征进行通道分离操作,沿着通道维度将火焰特征平均分为两个尺寸完全相同的火焰特征图;

1.3.2)并行处理:

a、使用一个深度可分离卷积模块对进行局部特征信息提取,输出特征图的每一个像素仅获得感受野范围内的特征信息,即获得局部注意力;每一个像素所能获得的局部感受野尺寸的计算方法用公式(1)计算:(1)

其中,表示第层卷积核的尺寸,表示第层的步长;

b、使用一个Transformer模块对进行全局注意力信息提取,输出特征图的每一个像素均获得输入特征图的所有像素的信息,步骤包括:首先,对于输入火焰特征,先将它分成个彼此不重叠的图块,其中,;

接着对所有的图块进行词向量嵌入转化成的词向量并添加位置编码,并将所有的词向量拼接,得到;

然后,对于每一个词向量,通过三个权值矩阵,,,转变成计算注意力所需要的查询向量、键向量和值向量;注意力计算方法为:最后,对输出的注意力序列进行反编码获得和原始输入特征尺寸相同的全局注意力图;

1.3.3)将a、b两个并行分支的输出特征图进行级联,并通过一个1×1卷积层和一个3×3卷积层进行通道还原。

2.根据权利要求1所述的基于轻量级长短距离注意力transformer网络的火灾图像检测方法,其特征是所述步骤2)中,所述特征融合网络是将原始BiFPN网络的五层结构改为三层串联结构;

所述步骤2.1)中,对于步骤1)输出的三个火焰特征图,,:先对上采样到尺寸并与其级联得到;再对上采样到尺寸并与其级联得到;接着对下采样到尺寸并与原级联得到新的;再对新的下采样到尺寸并与其级联得到;上采样一次与新的级联并和原始输入级联得到;上采样一次并与级联得到;最终输出,,作为下一层BiFPN的输入。

3.根据权利要求1所述的基于轻量级长短距离注意力transformer网络的火灾图像检测方法,其特征是所述步骤3)中,使用预测网络在三个分辨率层上分别对火焰进行分类和定位,并对输出结果的得分排序,最终经过非极大值抑制层得到最终的预测结果。

4.根据权利要求1或3所述的基于轻量级长短距离注意力transformer网络的火灾图像检测方法,其特征是所述步骤3)中,根据网络学习的结果,疑似火焰区域被激活,预测网络在三个输出火焰特征图,,上进行火焰的位置信息回归与置信度预测,步骤包括:

3.1)每一个特征图的预测头都包含一个深度卷积和一个卷积回归,最终对应每一个疑似火焰区域输出五个预测值,分别代表预测火焰的四个位置坐标和一个置信度;

3.2)对于所有预测头预测的结果进行得分排序,取出每一个疑似火焰判定区域得分大于设定阈值的框,并认定为此处存在火焰;

3.3)对于重叠度高的框认定为同一火焰区域并进行非极大值抑制,最终得到置信度最高的火焰区域为最终预测结果。

5.根据权利要求1所述的基于轻量级长短距离注意力transformer网络的火灾图像检测方法,其特征是所述步骤1.3.1)中,分别输入并行运作的深度可分离卷积模块和Transformer模块,最终再将输出特征拼接回原始特征,其中:是特征级联操作;

则火焰特征图将会获取深度可分离卷积层缺少的全局注意力。