1.一种基于高斯掩码监督和跨层注意力引导的电力场景缺陷小目标检测方法,其特征在于,包括:步骤1,将电力场景图像输入检测模型,然后由检测模型的骨干网络首先提取初始特征图,再对初始特征图按卷积路径来执行多阶段特征提取,并分别输出每个阶段所获得的特征图,从而得到不同尺度上的多个特征图,且基于阶段的顺序所形成的特征图依次为由浅到深的浅层特征图和深层特征图;
步骤2,基于路径聚合网络,先采用自顶向下路径,将步骤1每两张相邻阶段获得的特征图中的深层特征图进行上采样后与浅层特征图进行拼接,得到多张具有由深到浅不同特征层级的中间特征图;然后再采用自底向上路径,对每两张相邻中间特征图中的浅层中间特征图进行下采样后与深层中间特征图进行拼接,最终输出多张具有由浅到深不同特征层级的融合特征图;
步骤3,基于跨尺度窗口注意力,以相邻的每两张融合特征图中具有高语义的深层融合特征图来引导浅层融合特征图进行语义信息建模,即基于深层融合特征图生成键向量Key和值向量Value,并基于浅层融合特征图生成查询向量Query,然后对Key、Value和Query划分窗口,再通过投影矩阵拆分为多头,然后引入相对位置偏置来计算Query和Key的多头注意力,得到的多头注意力结果与Value的多头相乘,再拼接后经输出投影矩阵映射得到输出,输出经通道门控处理后与浅层融合特征图相加后作为输出特征图;最终得到多张输出特征图;
步骤4,对步骤3得到的多张输出特征图,采用多分支检测头分别处理并输出预测结果;
所述步骤3包括:
采用下式来基于相邻的每两张融合特征图中具有高语义的深层融合特征图生成键向量Key和值向量Value:其中K表示Key,V表示Value,表示实数矩阵,C表示K和V的通道数,H表示K和V的高,W表示K和V的宽,表示深层融合特征图,split(·)表示沿通道维度切分为通道数量相等的两部分,φk,v(·)包含上采样与1×1卷积投影,↑(·)为最近邻插值上采样;
采用下式来基于相邻的每两张融合特征图中的浅层融合特征图生成查询向量Query:其中Q表示Query,φq(·)表示1×1卷积投影;表示浅层融合特征图,然后将Q、K、V划分为Nw个不重叠窗口:其中S为窗口尺寸,H2和W2分别表示深层融合特征图的高和宽;
然后根据每个窗口内对应的查询矩阵Qw、键矩阵Kw和值矩阵Vw来计算多头注意力,则对于第m个头有:其中Qm、Km和Vm分别为经过投影矩阵处理后的第m个头的查询矩阵、键矩阵和值矩阵;和分别为查询投影矩阵、键投影矩阵和值投影矩阵,均是模型中通过学习获得的参数,dh为注意力头的维度,dh=C2/M,C2表示深层融合特征图F2的通道数,M为多头的头数,和分别表示窗口内第m个头的查询矩阵、键矩阵和值矩阵;
再引入通过学习获得的相对位置偏置B,来计算Q和K的注意力矩阵Attnm,其中B用于弥补注意力机制的位置不敏感性,其中Softmax表示softmax归一化函数,的上标T表示矩阵转置,Bm表示第m个头的位置偏置;
再将Attnm与对应的Vm相乘,得到第m个头的结算结果Zm,然后合并所有头的结算结果,并经过输出投影WO映射后得到融合注意力增强特征Z:Zm=AttnmVm;
Z=concat(Z1,…,Zm)WO;
其中WO为输出投影矩阵,最终通过门控残差连接融合注意力增强特征Z与原始的浅层融合特征图得到由相邻的每两张融合特征图获得的输出特征图:其中为输出特征图,Sigmoid表示Sigmoid非线性激活函数,g(·)为通道注意力门控,⊙表示逐元素相乘。
2.根据权利要求1所述的方法,其特征在于,所述步骤1包括:
模型以CSPDarkNet作为骨干网络,并通过骨干网络中由卷积模块构成的起始层对输入的电网图像的尺寸进行压缩以及对通道进行升维,从而得到初始特征图;
然后将初始特征图输入到卷积路径中进行特征提取,所述卷积路径包括串联的多个由CSP结构堆集形成的CSP网络模块,并以每个CSP网络模块作为单个用于执行特征提取的阶段,保留每个阶段所提取的特征图,从而得到多张具有不同分辨率即不同尺度的特征图,其中分辨率较高的为浅层特征图且具有更多的纹理细节,分辨率较低的为深层特征图且具有更多的语义信息。
3.根据权利要求1所述的方法,其特征在于,所述步骤2中,得到多张具有由深到浅不同特征层级的中间特征图的过程包括:深层特征图通过上采样调整分辨率,从而与相邻阶段所提取的浅层特征图分辨率一致,然后将二者按通道维度拼接,并通过由单个CSP结构形成的CSP模块调整通道数量后,得到相应的中间特征图,表达式为:其中为自顶向下融合路径中形成的第i层中间特征图,↑(·)表示最近邻上采样,Cat(·)表示沿通道维度拼接,CSP(·)表示CSP模块,Fi表示骨干网络输出的第i层特征图,Fi+1表示骨干网络输出的第i+1层特征图,的通道数量经过CSP模块调整,与Fi保持一致;
所述步骤2中,输出多张具有由浅到深不同特征层级的融合特征图的过程包括:使用步长为2的卷积对两张相邻中间特征图中的浅层中间特征图进行下采样,随后经过批次归一化和激活函数激活,再与深层中间特征图按通道维度拼接,并使用CSP模块调整通道数,从而实现融合来得到融合特征图,表达式为:其中表示第i层融合特征图,σ表示激活函数,BN表示Batch Norm即批次归一化,Conv3(·)表示3×3卷积。
4.根据权利要求1所述的方法,其特征在于,所述步骤4包括:
基于融合增强后的多尺度特征,运用多分支检测头进行模型最终的预测输出;其中对于N个尺度的输出特征,采用N个检测头分别处理并输出预测结果;所有检测头均采用解耦结构,包括分类分支和回归分支这两个分支:两个分支结构均由一个标准3×3卷积模块和一个1×1逐元素卷积模块构成,并分别输出类别分数和预测框。
5.根据权利要求3-4任一所述的方法,其特征在于,所述步骤1中,骨干网络最后一个阶段所输出的特征图,是直接作为步骤2中路径聚合网络的自底向上路径的最后一张深层中间特征图使用;所述步骤2中,路径聚合网络的自顶向下路径所生成的最后一张中间特征图,是直接作为步骤3中第一张用于生成Query的浅层融合特征图使用;所述步骤3中,路径聚合网络的自底向上路径所生成的最后一张融合特征图,是直接作为步骤4中检测头所处理的输出特征图使用。
6.根据权利要求1所述的方法,其特征在于,所述检测模型在训练过程中,在执行步骤2时,还包括基于路径聚合网络输出的最浅层融合特征图生成预测目标激活掩码,并基于真值生成单个目标区域服从高斯分布的掩码,对预测目标激活掩码进行监督,计算二者损失,用于增强浅层融合特征图中小目标区域激活度的步骤:将最浅层融合特征图F1经过两个上采样块后,通过标准1×1卷积生成重构图;所述每个上采样块均包括标准3×3卷积、批次归一化、SiLU激活函数和双线性插值上采样4个步骤:Mpre=Conv1(layer(layer(F1)));
其中Mpre为预测目标激活掩码,layer(·)为一个上采样块,对特征信息进行处理并执行2倍上采样一次,Conv1表示1×1卷积;
随后基于真值生成高斯监督掩码:对于输入图像的真值边界框合集其中N为图像中目标样本总数,第i个目标边界框bi是由框在图像中的左上角和右下角坐标表示,即表示bi在图像中的左上角坐标,表示bi在图像中的右下角坐标;首先设置真值的目标筛选条件,掩码中仅保留绝对像素面积小于32×32的目标:其中Bvalid表示小目标子集合,Ai表示第i个目标边界框覆盖区域的面积:其中wi表示第i个目标边界框覆盖区域的宽,hi表示第i个目标边界框覆盖区域的高;
随后基于集合构建各向异性高斯核:对于每个有效目标,先建立二维高斯概率密度函数Gi(x,y):其中exp为指数函数,(x,y)表示有效目标的坐标;为第i个目标的中心坐标,表示为:二维高斯概率函数Gi(x,y)在x、y方向上的标准差分别独立计算,从而实现二维上的各向异性高斯分布,匹配目标长宽比特性,其中单个有效目标的高斯建模协方差矩阵Σ为:为标准差,与目标尺寸成比例,通过下式计算:
其中α∈(0,1),α为比例系数超参数;
最后进行混合高斯叠加与归一化,生成混合高斯响应图Mraw(x,y):然后对混合高斯响应图采用逐像素的数值截断的方式进行归一化操作,计算最终的响应掩码Mgt(x,y):Mgt(x,y)←max(0,min(1,Mraw(x,y)));
最终得到其中H3和W3为检测模型输入图像的长和宽,将响应掩码作为高斯监督掩码,用于监督基于浅层特征图预测掩码;
再根据预测目标激活掩码与高斯监督掩码,计算二者的L1损失函数也即掩码预测损失,并作为总损失的一部分,参与梯度回传与参数更新:其中i和j均表示编号,即第i个和第j个。
7.根据权利要求6所述的方法,其特征在于,在模型训练中,总损失包括分类损失、框回归损失和掩码预测损失三部分,即:其中为掩码预测损失;为分类损失,采用交叉熵损失;为边界框回归损失,使用DFL损失和CIOU损失相结合;α、β、γ为损失函数的权重超参数;
在计算预测结果的总损失后,再使用Adam优化器对检测模型进行迭代优化,更新模型参数,以降低模型的预测总损失。
8.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
其特征在于,所述一个或多个处理器执行所述一个或多个程序,以实现如权利要求1-7中任一所述的方法。
9.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的方法。