1.一种基于LDLFModel的PCB缺陷检测方法,其特征在于,包括如下步骤:S1:对采集的PCB数据集进行数据增强,形成训练数据;
S2:构建深度学习轻量级融合网络模型,即LDLFModel网络模型;所述LDLFModel网络模型包括Backbone部分、Neck部分和Prediction部分;Backbone部分采用MobileNet v3-Small作为特征提取网络,并在MobileNet v3-Small的最后一层加入了位置注意力机制;Neck部分采用特征金字塔FPN和路径融合PAN相结合的方式进行特征融合,并在Neck部分中加入了位置注意力机制,获得增强的特征层;Prediction部分为YOLO head模块,用于进行目标预测;
S3:对所述LDLFModel网络模型进行训练,具体步骤如下:
S301:将经过数据增强后的PCB数据集输入到所述LDLFModel网络模型的Backbone部分中,通过带注意力机制的MobileNet v3-Small进行依次下采样后,获得三个不同分辨率的有效特征层;
S302:将步骤S301中获得的三个有效特征层输入到Neck部分进行特征融合,对三个有效特征层依次进行上采样和下采样操作,采用快速归一化融合的方式进行特征融合,获得三个增强的有效特征层;
S303:将步骤S302中获得的三个增强的有效特征层输入到YOLO head模块中预测PCB缺陷目标的中心点位置,获取预测框宽高、置信度以及PCB缺陷目标类别信息,并采用目标框损失函数Eiou loss作为所述LDLFModel网络模型的损失函数ζEioU,提升预测框定位的准确性;
S4:将训练好的LDLFModel网络模型用于识别PCB缺陷,获取缺陷检测结果,具体方法为:将待检测的PCB缺陷数据集输入切割模块进行切割,将待检测的PCB缺陷数据集切割成小图,左右相邻或者上下相邻的小图之间具有20%的重叠区域,将切割成的小图输入训练好的LDLFModel网络模型进行PCB缺陷检测,输出带有检测结果的小图,并将带有检测结果的小图输入还原模块进行拼接还原,获得最终的可视化检测结果。
2.根据权利要求1所述的一种基于LDLFModel的PCB缺陷检测方法,其特征在于,所述步骤S1的具体方法为:对PCB数据集进行随机翻转、随机镜像、随机亮度变化以及随机缩放处理,进而扩充数据集的数量,然后采用Mosica数据增强的方式,获得最终的训练数据。
3.根据权利要求1所述的一种基于LDLFModel的PCB缺陷检测方法,其特征在于,所述步骤S2中位置注意力机制用于进行坐标信息的嵌入和坐标信息的生成;坐标信息嵌入的原理为:对给定输入特征x,使用尺寸为(H,1)或(1,W)的池化核分别沿着水平坐标和垂直坐标对每个通道进行编码,输出的具体表达式为:其中,W为池化核的宽,m为池化核在W空间范围的取值,xc(h,m)为高度为h,W取m的特征图输入张量,为高度为h的第c通道的输出;
宽度为w的第c通输出的具体表达式为:
其中,H为池化核的高,n为池化核在H空间范围的取值,xc(n,w)为宽度为w,H取n的特征图输入张量,为宽度为w的第c通道的输出;
坐标信息的生成原理为:
经过坐标信息嵌入中的变换后,对变换后的输出结果进行Concat操作得到[zh,zw],最后经过非线性激活函数δ得到空间信息在水平方向和垂直方向进行编码的中间特征映射f,具体表达式如下:f=δ(F1([zh,zw]))
其中,F1为1×1卷积变换函数;
然后沿着空间维数将中间特征映射f分解为2个单独的张量fh和fw,再利用2个1×1卷积变换函数Fh和Fw以及非线性激活函数σ,即sigmoid函数,分别将fh和fw变换为具有相同通道数的张量gh和gw,具体表达式如下:gh=σ(Fh(fh))
gw=σ(Fw(fw))
则位置注意力机制的输出yc(m,n)的具体表达式为:
其中,xc(m,n)为通道数取c,特征图的宽度为m,特征图的高度取n的输入特征图,为通道数取c,高度为h,宽度为m的张量,为通道数取c,宽度为w,高度为n的张量。
4.根据权利要求1所述的一种基于LDLFModel的PCB缺陷检测方法,其特征在于,所述步骤S302中,快速归一化融合的表达式为:其中,O为特征融合的结果,wi表示第i个输入特征Ii所对应的学习权重,∈为不为0的常数,用于保证数值的稳定性;通过对每个wi进行一次Relu操作,保证wi的取值大于等于0;
x级和x+1级特征层在x级的融合情况具体表述为:
其中,Resize是上下采样操作,Conv是对特征的卷积操作,wi表示第i个输入特征Ii所对应的学习权重,wi+1表示第i+1个输入特征Ii+1所对应的学习权重,表示第k级融合后的特征输出,表示第k级的特征输入,表示第k+1级的特征输入。
5.根据权利要求1所述的一种基于LDLFModel的PCB缺陷检测方法,其特征在于,所述步骤S303中,所述损失函数ζEioU的具体表达式为:其中,ρ(bp,bgt)为预测框和真实框中心点的欧氏距离,ρ(w,wgt)为预测框宽和真实框宽的欧氏距离,ρ(h,hgt)为预测框高和真实框高的欧氏距离,t为目标框的真实框最小外接矩形的面积对角线,Tw为最小外接框的宽度,Th为最小外接框的高度,IoU为预测框和真实框的交并比,A为预测框,B为真实框。
6.根据权利要求1所述的一种基于LDLFModel的PCB缺陷检测方法,其特征在于,所述步骤S4中,所述切割模块的切割方法为:设置切割系数mul,当mul=1可关闭切割层,当mul>1表示开启切割层,其中切割成小图的数量N与mul的关系为:N=mul2
首先获取待检测PCB图片的长xsize和宽ysize;再分别计算切割框的长x_smoc和宽y_smoc:再计算每个切割位置的起始坐标(xstarpoint,ystarpoint):其中,p和q为自然数;
再计算最后一个切割位置的相对坐标(xreal,yreal)
xreal=min(xstarpoint+x_smoc,xsize)
yreal=min(ystarpoint+y_smoc,ysize)
比较待检测图片长和宽与最后一个切割位置的相对坐标,判断是否刚好切割完,如果不能刚好切割完,则最后一个切割框位置取(xreal,yreal),使最后一个切割框与待检测图片的右边界平齐;
所述还原模块将所有切割小图拼接还原的具体方法为:根据每个切割点起始坐标(xstarpoint,ystarpoint)将带检测结果的切割小图进行拼接,进行非极大值抑制,去除多余的冗余框,得到最终的可视化检测结果。