1.一种基于多模态数据的工厂管道的烟雾和火焰检测方法,其特征在于,包括以下步骤:(1)预先获取工厂管道内不同类型烟雾和火焰的多模态数据,并对多模态数据进行预处理;
(2)将不同类型的数据转换为适合于YOLOv7输入的格式;
(3)对于可见图像部分采用SIFT描述符和SURF描述符提取图像局部特征点,计算对应的特征描述符,通过融合两种描述符提取视觉特征;
(4)对于红外图像使用梯度模式提取方法,通过捕获图像中的纹理计算边缘信息,提取红外图像中的热点和物体边界;
(5)对于烟雾数据,直接使用烟雾浓度特征作为模型输入;
(6)先使用逐元素操作将两种图像进行数据融合,再使用注意力机制对融合后的数据进行加权;
(7)在经过多模态数据融合后,使用混合模型融合后的特征和烟雾数据输送到Yolov7算法的输入端进行目标检测,即对工厂管道中的烟雾和火焰进行检测;
所述步骤(3)实现过程如下:
可见图像部分采用SIFT描述符和SURF描述符提取图像局部特征点,并计算对应的特征描述符,通过融合两种描述符的各自优点,进一步提取视觉特征:式中,weight表示权重函数,用于加权不同位置像素的贡献,(x',y')为原始图像(x,y)经过仿射变换后的新坐标,s表示特征点的尺度了,gradmagnitude表示像素的梯度强度,gradorientation表示像素的梯度方向,gradmatrix表示像素的Hessian矩阵,包括二阶偏导数信息;
使用神经网络进行特征提取融合,具体的操作过程包括前向传播和损失函数的计算;首先,构建神经网络架构,接收SIFT和SURF特征描述符作为输入层;设定一个隐藏层,包含一定量的神经元数量和激活函数;最后生成融合后的特征描述符作为输出层;选择的SIFT特征描述符为SIFTdata=[sift1,sift2,...siftn],选择的SURF特征描述符为SURFdata=[surf1,surf2,...surfn],设定神经网络的输入为IN,其中IN=[SIFT,SURF]表示将SIFT和SURF特征描述符连接在一起作为输入;神经网络的输出为OUT,前向传播的计算公式为:式中,Z1表示隐藏层输入,A1表示隐藏层激活函数,Z2表示输出层输入,OUT表示输出层激活函数,w1和w2分别表示隐藏层和输出层的权重矩阵,b1和b2分别表示隐藏层和输出层的偏置向量,activation_function表示激活函数;
选择交叉熵损失函数来度量神经网络输出与目标输出之间的差异,假设神经网络模型输出为OUTpred,表示模型对两个类别的预测概率,真实概率为OUTtrue,表示特征描述符的真实类别,其计算式为:式中,N表示样本数量;当OUTtrue=1时,第一个对交叉熵损失做贡献,此时交叉熵损失越小,表示神经网络模型对融合后的特征描述预测概率OUTpred越接近1,预测越准确;
通过前向传播算法来更新神经网络模型的权重和偏置,以最小化损失函数,再从输出层得到融合后的特征值,其计算式为:通过神经网络模型的训练和参数的调整得到融合后的特征值V。
2.根据权利要求1所述的一种基于多模态数据的工厂管道的烟雾和火焰检测方法,其特征在于,步骤(1)所述多模态数据获取过程如下:对于可见光图像,使用可见光摄像头来采集图像数据;对于红外图像,使用热成像仪来采集红外数据;对于烟雾数据,使用烟雾传感器来采集烟雾浓度。
3.根据权利要求1所述的一种基于多模态数据的工厂管道的烟雾和火焰检测方法,其特征在于,步骤(1)所述对数据进行预处理过程如下:采用时间戳的方式进行数据的同步对齐,其有两个数据源Data1和Data2,时间戳分别为t_Data1和t_Data2,以数据源Data1的时间戳为基准时间,则需数据源Data2的时间戳为:式中,t_Data2_aligend表示对齐后的数据源t_Data2的时间戳,δ表示数据源t_Data2相对于数据源Data1的时间延迟;数据源Data1是来自网络中的烟雾和火焰的数据集,数据源t_Data2是来自工厂内拍摄的烟雾和火焰的数据集,Data表示总的数据集;
对于总数据集Data中可见光图像数据,使用高斯滤波对图像进行去噪处理;通过对可见光摄像头采集到的图像中每个像素机器周围像素进行加权平均来实现,高斯滤波使用了一个二维的高斯核来进行图像的平滑处理:式中,K(x,y)表示为高斯核的值,x和y表示像素位置坐标,σ表示高斯核的标准差;
对于图像中的每个像素,取其周围的邻域像素,并根据高斯核的权重对邻域像素进行加权平均,得到该像素的新值;高斯滤波去噪处理为:D′(x,y)=∑(D(x+i,y+j)*K(i,j)) (3)
式中,D′(x,y)表示经过高斯滤波后的图像像素值,D(x+i,y+j)表示图像中每个领域像素的原始值,K(i,j)表示高斯核的值,[i,j]表示核的坐标位置相对于中心点的偏移量;
对于图像数据进行随机翻转、随机旋转、随机裁剪增强操作,将完成数据转换的图像数据进行水平或者垂直方向的随机旋转,增强图像数据的视角变换,使得模型对图像的不同方向具有更好的识别能力:式中,F_H表示水平翻转后的图像F_V表示垂直翻转后的图像,random(0,1)表示随机数,根据生成的随机数,对图像进行左右翻转;若随机数为1,则将图像左右翻转,否则不做处理;
在进行随机翻转的同时也实现随机旋转的操作,对图像进行随机角度的旋转;从指定的角度范围内随机生成一个旋转角度,根据生成的随机角度,对图像进行旋转;使用图像旋转函数进行操作,图像旋转通过仿射变换矩阵来实现,对于二维图像,仿射变换矩阵为:式中,θ表示旋转角度,tx和ty表示平移的像素数,当旋转中心为图像中心时,tx和ty设置为零;原始图像上的像素坐标为(x,y),经过仿射变换后的新坐标为(x',y'):其中,M11、M12、M13、M21、M22、M23是仿射变换矩阵(5)的元素,对于图像旋转来说,M11和M22分别是旋转的余弦和正弦值,而M12和M21则相应地是负的正弦和余弦值,M13和M23用来调整旋转后的平移。
4.根据权利要求1所述的一种基于多模态数据的工厂管道的烟雾和火焰检测方法,其特征在于,所述步骤(2)实现过程如下:将图像的像素值转换为数值型数据,使用浮点型数据来表示像素值,并将像素值映射到[0,1]的范围;将图像的通道顺序从通常的RGB转换为模型所需的BGR顺序;将转换后的图像数据生成用多维数组表示的张量;对于批量图像输入,形成4维张量,形状为[批量大小,高度,宽度,通道数],设原始图像为Pic,其大小为:Pic=High*Weight*Count (7)
式中,High表示高度,Weight表示宽度,Count表示通道数,则将图像转换成张量为:式中,Numpic表示图像的数量;
对于像素值范围不同的图像,还需要进行归一化操作,将像素值缩放到[0,1]的范围内;
对于烟雾的数据,将传感器数据转换为浮点型的数值型数据,根据传感器的测量精度和范围,对该数据进行线性缩放,使得数据映射到合适的范围;设原始传感器数据为Gas,采用数据类型转换方式对其进行数值处理:Gas'=(Gas1,Gas2,...GasNum_Gas) (9)
式中,Gas'表示转换后的气体数据,Gas1,Gas2,...GasNum_Gas表示Num_Gas个气体样本的数值格式。
5.根据权利要求1所述的一种基于多模态数据的工厂管道的烟雾和火焰检测方法,其特征在于,所述步骤(4)实现过程如下:红外图像处理中使用梯度模式提取方法,通过捕获图像中的纹理计算边缘信息,对红外图像中的热点和物体边界有良好的响应;首先,使用Sobel算子计算红外图像的梯度值和方向梯度,将0~360度划分为8个方向,然后将每个像素的梯度方向方向定性为这8个方向中的一个,最后,统计图像中各个方向的梯度频率分布,得到梯度模式特征;对于灰度图像I(x,y),梯度的计算通过以下两个方向的卷积来实现,如式(14):式中,G_x(x',y')表示水平方向梯度,G_y(x′,y')表示垂直方向梯度;
然后,计算梯度幅值Mag(x',y')和梯度方向Angle(x',y'),如式(15):把梯度方向Angle(x',y′)分成多个方向区间,将0~360度划分为8个方向:0°、45°、90°、135°、180°、225°、270°、315°,将每个像素的梯度方向Angle(x',y′)量化为这些方向中的一个,即将连续的角度映射为离散的方向标签;统计图像中各个方向的梯度频率分布,得到梯度模式特征C;对于每个像素,记录其梯度方向的频率,采用直方图的形式表示;得到图像的梯度模式特征,用于描述红外图像中的纹理边缘信息和热点位置。
6.根据权利要求1所述的一种基于多模态数据的工厂管道的烟雾和火焰检测方法,其特征在于,所述步骤(6)实现过程如下:将可见光图像和红外图像的特征进行逐像素加权,可见光图像的特征向量为V=[v1,v2,...vn],红外图像的特征向量为C=[c1,c2,...cn],则融合后的特征向量Fusion为:Fusion=[v1*α+c1*(1-α),v2*α+c2*(1-α),...,vn*α+cn*(1-α)] (16)式中,α是可调节的权重参数,用于控制可见光图像和红外图像特征的重要性,其取值范围为[0,1];
在数据融合后,引入注意力机制来对融合后的特征向量进行加权,计算出数据之间的相关性和权重;在融合后的特征向量Fusion=[fu1,fu2,...,fun]使用一个注意力权重向量K=[k1,k2,...,kn]来对特征向量进行加权,得到最终的融合特征向量Fusion';使用自注意力机制来训练注意力权重K:式中,Socre(fu_m,Fusion)表示第m个特征向量与整个特征向量集合Fusion之间的相似度得分,·表示矩阵的点积操作,FusionT表示特征向量集合Fusion转置,fu_m表示第m个融合后的特征向量,K表示第m个特征向量的注意力权重,Fusion'表示加权后的最后的融合特征向量。