1.基于局部语义感知注意力神经网络的遮挡目标识别方法,其特征在于,所述方法包括以下步骤:S100:获取待测区域的图像数据,对所述图像数据进行预处理,并对所述图像数据中被遮挡目标的位置和类别进行标注,按照预设的划分比例构建出用于训练、验证和测试的数据集;
S200:搭建局部语义感知注意力增强神经网络,所述网络包括基于局部语义感知注意力增强的残差网络、特征金字塔网络和检测头网络,其中,所述基于局部语义感知注意力增强的残差网络用于提取到具有不同分辨率的深度特征图;所述特征金字塔网络用于融合不同分辨率的深度特征图,得到融合后的不同分辨率的深度特征图;所述检测头网络用于根据融合后的不同分辨率的深度特征图去预测被遮挡目标的位置和类别;其中,基于局部语义感知注意力增强的残差网络包括依次连接的第一残差块、局部语义感知注意力增强网络、第二残差块、第三残差块和第四残差块,所述第一残差块用于对输入的训练集图片进行语义特征提取,得到第一特征图并输入至所述局部语义感知注意力增强网络;所述局部语义感知注意力增强网络用于增强网络对所述第一特征图中具有相同局部语义信息特征块的注意力,获取具有局部语义增强的特征图,包括:S221:对所述第一特征图F进行滑动窗口操作获取具有大小相同的多维局部语义块F1,再对所述多维局部语义块F1进行转置操作得到多维局部语义块F2;
S222:将所述多维局部语义块F1和所述多维局部语义块F2进行矩阵乘法,得到格拉姆矩阵G;
S223:将所述格拉姆矩阵进行归一化操作得到相似度矩阵Gn;
S224:将所述相似度矩阵Gn按行进行求均值,得到局部语义块的权重系数w,并将所述多维局部语义块F1和所述权重系数w进行元素相乘,得到局部语义增强特征并通过反滑动窗口操作还原成和所述第一特征图F具有相同大小的局部语义特征F',并将所述语义特征F'送入动态修正线性函数中进行调整得到具有局部语义增强的遮挡目标特征图;
S300:根据构建的训练集对所述局部语义感知注意力增强神经网络进行训练,根据验证数据集和预设的网络损失函数对所述局部语义感知注意力增强神经网络进行反向传播,对网络权重进行更新,在完成预设训练轮次之后,得到训练好的局部语义感知注意力增强神经网络;
S400:将数据集输入至训练好的局部语义感知注意力增强神经网络,得到被遮挡目标的置信度和位置,根据所述被遮挡目标的置信度和位置结合极大值抑制算法确定最终的输出结果作为目标识别结果。
2.根据权利要求1所述的方法,其特征在于,S200中所述局部语义感知注意力增强网络用于增强网络对所述第一特征图中具有相同语义信息局部特征块的注意力,获取具有局部语义增强的特征图,并发送至所述第二残差块;所述第二残差块用于对所述具有局部语义增强的特征图进行语义特征提取,得到第二特征图,所述第三残差块用于对所述第二特征图进行语义特征提取,得到第三特征图,所述第四残差块用于对所述第三特征图进行语义特征提取,得到第四特征图,将所述第二特征图、所述第三特征图和所述第四特征图输入至所述特征金字塔网络。
3.根据权利要求2所述的方法,其特征在于,S222具体为:
G=F1⊙F2
其中,⊙表示矩阵乘法,格拉姆矩阵G中的每个元素gij代表了局部语义块i和局部语义块j之间的相似度;
S223具体为:
其中,||G||2表示G的二范数。
4.根据权利要求3所述的方法,其特征在于,S224中将所述局部语义特征F'送入动态修正线性函数中进行调整得到具有局部语义增强的遮挡目标特征图,包括:S2241:将所述局部语义特征F'通过全局平均池化操作得到全局特征g;
S2242:将所述全局特征g先后经过卷积-Relu、卷积-Sigmoid操作得到动态修正线性函数的系数C,并将所述系数C的数值范围限制在[-0.5,0.5]之间,具体地计算公式如下:C=Sigmoid(conv2(R(conv1(g))))-0.5
其中,conv1,conv2分别表示1x1卷积操作,R表示Relu,Sigmod函数将卷积的输出结果限制到[0,1];
S2243:将所述系数C按通道维进行划分,分别得到线性系数a1,b1,a2,b2,最后的DyRelu结果计算公式如下:O=Max(F′*(a1*2+1)+b1,F′*(a2*2)+b2)
其中,Max表示最大值函数,*表示元素相乘,O是经过DyRelu之后输出的具有局部语义增强的遮挡目标特征图。
5.根据权利要求4所述的方法,其特征在于,S200中所述特征金字塔网络用于融合不同分辨率的深度特征图,得到融合后的不同分辨率的特征图,包括:S225:通过1x1卷积对所述第二特征图、所述第三特征图和所述第四特征图进行降维,得到降维后的特征图;
S226:将降维后的不同分辨率的第二特征图、第三特征图和第四特征图自上向下进行特征融合,将上一层特征进行双线性插值得到和下一层特征相同大小的特征图,再将两张特征图进行逐元素相加,实现语义信息融合,得到融合后的不同分辨率的第二特征图、第三特征图和第四特征图,最后将融合后的第四特征图通过3×3卷积得到第五特征图,将所述第五特征图通过3×3卷积得到第六特征图,得到融合后的不同分辨率的特征图,即融合后的第二特征图、融合后的第三特征图、融合后的第四特征图、第五特征图和第六特征图。
6.根据权利要求5所述的方法,其特征在于,所述检测头网络包括了分类分支、回归分支和交并比预测分支,所述分类分支包括四个3x3卷积层和一个1x1卷积层,融合后的不同分辨率的特征经过五个卷积层输出类别预测结果,得到分类分数;所述回归分支包括四个3x3卷积层和一个1x1卷积层,融合后的不同分辨率的特征经过五个卷积层输出被遮挡目标位置预测结果;所述交并比预测分支包括一个1x1卷积层,设置在所述回归分支最后一个3x3卷积层之后,输出结果为预测的回归分支的结果与真实结果的交并比。
7.根据权利要求6所述的方法,其特征在于,S300中预设的网络损失函数包括分类损失、回归损失和语义一致性损失;
所述分类损失和所述回归损失分别选取FLloss和GIoUloss,计算公式如下:FL(p,y)=-y(1-p)γlog(p)-(1-y)pγlog(1-p)其中,y代表分类的标签,p代表分类预测值,γ是超参数,IoU表示标签和预测框之间的交并比,C表示最小封闭形状,Ac表示C的面积,U表示A和B的面积;
语义一致性损失选取Pull Loss,计算公式如下:
其中,Lpull表示Pull Loss,Nt表示预先设定的阈值,IoU表示计算交并比,bmax表示分类分数对应的检测框,bm表示最大分数对应的真实标注标签框,sm表示网络预测的最大分数。
8.根据权利要求7所述的方法,其特征在于,S400中根据所述被遮挡目标的置信度和位置结合极大值抑制算法确定最终的输出结果作为目标识别结果,包括:S410:根据所述被遮挡目标的置信度得分对预测结果排序,选择置信度分数最高的预测结果另存为算法输出结果列表;
S420:计算其余预测结果与所述置信度分数最高的预测结果的交并比,抑制掉交并比大于或等于预设的交并比阈值的预测结果,保留交并比小于预设的交并比阈值的预测结果;
S430:对保留的预测结果重复执行S410-S420,直至最后不再出现交并比大于预设的交并比阈值的预测结果,得到最终保留的预测结果;
S440:从所述最终保留的预测结果中选择置信度分数最高的预测结果作为目标识别结果。
9.根据权利要求8所述的方法,其特征在于,S400之后还包括:
S500:计算所述局部语义感知注意力增强神经网络的识别精度,对所述神经网络的识别性能进行定量分析;
S600:利用可视化工具,将所述神经网络的输出结果进行可视化,通过所述结果可视化对比直观分析所述神经网络的检测效果,对所述神经网络的识别性能进行定性分析。
10.根据权利要求9所述的方法,其特征在于,S500包括:
计算所述局部语义感知注意力增强神经网络的精度和查全率,具体为:
其中,Precision为精度,Recall为查全率,TP表示预测目标准确框的数量,FP表示预测为错误目标框的数量,FN表示错误预测为背景框的数量。