欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022115612486
申请人: 东华理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-12-19
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于LDLFModel的PCB缺陷检测方法,其特征在于,包括如下步骤:S1:对采集的PCB数据集进行数据增强,形成训练数据;

S2:构建深度学习轻量级融合网络模型,即LDLFModel网络模型;所述LDLFModel网络模型包括Backbone部分、Neck部分和Prediction部分;Backbone部分采用MobileNet v3-Small作为特征提取网络,并在MobileNet v3-Small的最后一层加入了位置注意力机制;Neck部分采用特征金字塔FPN和路径融合PAN相结合的方式进行特征融合,并在Neck部分中加入了位置注意力机制,获得增强的特征层;Prediction部分为YOLO head模块,用于进行目标预测;

S3:对所述LDLFModel网络模型进行训练,具体步骤如下:

S301:将经过数据增强后的PCB数据集输入到所述LDLFModel网络模型的Backbone部分中,通过带注意力机制的MobileNet v3-Small进行依次下采样后,获得三个不同分辨率的有效特征层;

S302:将步骤S301中获得的三个有效特征层输入到Neck部分进行特征融合,对三个有效特征层依次进行上采样和下采样操作,采用快速归一化融合的方式进行特征融合,获得三个增强的有效特征层;

S303:将步骤S302中获得的三个增强的有效特征层输入到YOLO head模块中预测PCB缺陷目标的中心点位置,获取预测框宽高、置信度以及PCB缺陷目标类别信息,并采用目标框损失函数Eiou loss作为所述LDLFModel网络模型的损失函数ζEioU,提升预测框定位的准确性;

S4:将训练好的LDLFModel网络模型用于识别PCB缺陷,获取缺陷检测结果,具体方法为:将待检测的PCB缺陷数据集输入切割模块进行切割,将待检测的PCB缺陷数据集切割成小图,左右相邻或者上下相邻的小图之间具有20%的重叠区域,将切割成的小图输入训练好的LDLFModel网络模型进行PCB缺陷检测,输出带有检测结果的小图,并将带有检测结果的小图输入还原模块进行拼接还原,获得最终的可视化检测结果。

2.根据权利要求1所述的一种基于LDLFModel的PCB缺陷检测方法,其特征在于,所述步骤S1的具体方法为:对PCB数据集进行随机翻转、随机镜像、随机亮度变化以及随机缩放处理,进而扩充数据集的数量,然后采用Mosica数据增强的方式,获得最终的训练数据。

3.根据权利要求1所述的一种基于LDLFModel的PCB缺陷检测方法,其特征在于,所述步骤S2中位置注意力机制用于进行坐标信息的嵌入和坐标信息的生成;坐标信息嵌入的原理为:对给定输入特征x,使用尺寸为(H,1)或(1,W)的池化核分别沿着水平坐标和垂直坐标对每个通道进行编码,输出的具体表达式为:其中,W为池化核的宽,m为池化核在W空间范围的取值,xc(h,m)为高度为h,W取m的特征图输入张量,为高度为h的第c通道的输出;

宽度为w的第c通输出的具体表达式为:

其中,H为池化核的高,n为池化核在H空间范围的取值,xc(n,w)为宽度为w,H取n的特征图输入张量,为宽度为w的第c通道的输出;

坐标信息的生成原理为:

经过坐标信息嵌入中的变换后,对变换后的输出结果进行Concat操作得到[zh,zw],最后经过非线性激活函数δ得到空间信息在水平方向和垂直方向进行编码的中间特征映射f,具体表达式如下:f=δ(F1([zh,zw]))

其中,F1为1×1卷积变换函数;

然后沿着空间维数将中间特征映射f分解为2个单独的张量fh和fw,再利用2个1×1卷积变换函数Fh和Fw以及非线性激活函数σ,即sigmoid函数,分别将fh和fw变换为具有相同通道数的张量gh和gw,具体表达式如下:gh=σ(Fh(fh))

gw=σ(Fw(fw))

则位置注意力机制的输出yc(m,n)的具体表达式为:

其中,xc(m,n)为通道数取c,特征图的宽度为m,特征图的高度取n的输入特征图,为通道数取c,高度为h,宽度为m的张量,为通道数取c,宽度为w,高度为n的张量。

4.根据权利要求1所述的一种基于LDLFModel的PCB缺陷检测方法,其特征在于,所述步骤S302中,快速归一化融合的表达式为:其中,O为特征融合的结果,wi表示第i个输入特征Ii所对应的学习权重,∈为不为0的常数,用于保证数值的稳定性;通过对每个wi进行一次Relu操作,保证wi的取值大于等于0;

x级和x+1级特征层在x级的融合情况具体表述为:

其中,Resize是上下采样操作,Conv是对特征的卷积操作,wi表示第i个输入特征Ii所对应的学习权重,wi+1表示第i+1个输入特征Ii+1所对应的学习权重,表示第k级融合后的特征输出,表示第k级的特征输入,表示第k+1级的特征输入。

5.根据权利要求1所述的一种基于LDLFModel的PCB缺陷检测方法,其特征在于,所述步骤S303中,所述损失函数ζEioU的具体表达式为:其中,ρ(bp,bgt)为预测框和真实框中心点的欧氏距离,ρ(w,wgt)为预测框宽和真实框宽的欧氏距离,ρ(h,hgt)为预测框高和真实框高的欧氏距离,t为目标框的真实框最小外接矩形的面积对角线,Tw为最小外接框的宽度,Th为最小外接框的高度,IoU为预测框和真实框的交并比,A为预测框,B为真实框。

6.根据权利要求1所述的一种基于LDLFModel的PCB缺陷检测方法,其特征在于,所述步骤S4中,所述切割模块的切割方法为:设置切割系数mul,当mul=1可关闭切割层,当mul>1表示开启切割层,其中切割成小图的数量N与mul的关系为:N=mul2

首先获取待检测PCB图片的长xsize和宽ysize;再分别计算切割框的长x_smoc和宽y_smoc:再计算每个切割位置的起始坐标(xstarpoint,ystarpoint):其中,p和q为自然数;

再计算最后一个切割位置的相对坐标(xreal,yreal)

xreal=min(xstarpoint+x_smoc,xsize)

yreal=min(ystarpoint+y_smoc,ysize)

比较待检测图片长和宽与最后一个切割位置的相对坐标,判断是否刚好切割完,如果不能刚好切割完,则最后一个切割框位置取(xreal,yreal),使最后一个切割框与待检测图片的右边界平齐;

所述还原模块将所有切割小图拼接还原的具体方法为:根据每个切割点起始坐标(xstarpoint,ystarpoint)将带检测结果的切割小图进行拼接,进行非极大值抑制,去除多余的冗余框,得到最终的可视化检测结果。