欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023103632695
申请人: 河海大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于改进YOLOv5的小样本芯片外观缺陷检测方法,其特征在于,包括以下步骤:步骤S1:获取多组图像,每张图像中包含二维阵列排列的芯片,对有缺陷的芯片进行激光标记,作为原始数据集;

步骤S2:利用原始数据集训练生成对抗网络,从生成对抗网络中获得扩增数据集;

步骤S3:在YOLOv5神经网络模型中引入CBAM注意力机制,获得改进YOLOv5,具体为:CBAM注意力机制为通道注意力和空间注意力的双重注意力机制,将引入CBAM注意力机制模块的YOLOv5神经网络模型的中间特征图作为输入特征图,CBAM注意力机制模块依次推断出一个通道注意力特征图和一个空间注意力特征图,将和输入特征图F做逐元素的乘法操作,生成空间注意力模块所需的过渡特征图F`,将和过渡特征图F`做逐元素乘法,得到CBAM注意力机制的最终特征图F``:,`;

其中,F为输入的高为H,宽度为W,通道数为C的特征图,ⓧ为逐元素相乘,为通道注意力操作,为空间注意力操作;

所述的CBAM注意力机制模块推断出一个通道注意力特征图,具体为:将输入的特征图F分别经过基于高度H和宽度W的全局平均池化和全局最大池化,得到两个1×1×C的特征图,将两个1×1×C的特征图分别送同一个两层神经网络,第一层神经元个数为 C/r,r为减少率,激活函数为 ReLu函数,第二层神经元个数为 C,进行1×1的卷积操作,实现跨通道的信息交互;

将双层神经网络输出的特征进行基于逐元素的加和操作,再经过Sigmoid激活操作,生成通道注意力特征图:;

其中,为sigmoid函数,为平均池化,为最大池化,MLP为双层的神经网络,为将输入到双层神经网络得到的结果,为通道数为C的特征图F平均池化后的结果,为通道数为C的特征图F最大池化后的结果,为双层神经网络的第一层,为双层神经网络的第二层;

所述的CBAM注意力机制模块推断出一个空间注意力特征图,具体为:将中间特征图F`作为本模块的输入特征图,将F`经过基于通道C的全局最大池化和全局平均池化,得到两个H×W×1 的特征图,将两个H×W×1 特征图基于通道C做通道拼接操作,再经过一个7×7卷积操作,降维为1个通道,即H×W×1;

再经过BN归一化和Sigmoid激活生成空间注意力特征图:

;

其中,为sigmoid函数,为平均池化,为最大池化,为卷积操作,为通道数为S的特征图F平均池化后的结果,为通道数为S的特征图F最大池化后的结果;

步骤S4:利用扩增数据集训练引入CBAM注意力机制模块的改进YOLOv5神经网络模型,获得缺陷检测模型;

步骤S5:获取待测芯片的图片,并进行预处理;

步骤S6:将预处理后的图片输入缺陷检测模型中进行检测,将检测出有缺陷的图片输入到显示器进行显示,并将对应的芯片进行激光标记;

步骤S7:根据显示的图片找出对应的芯片。

2.根据权利要求1所述的基于改进YOLOv5的小样本芯片外观缺陷检测方法,其特征在于:步骤2所述的利用原始数据集训练生成对抗网络,从生成对抗网络中获得扩增数据集,包括以下子步骤:步骤S201:生成对抗网络包括生成模型、判别模型,其中,生成模型采用生成器根据输入的随机噪声生成能够以假乱真的图片;判别模型采用判别器判断输入图像是真实数据还是由生成器生成的图片;

将生成器G根据随机噪声z生成图片,记为G(z);将G(z)和原始数据集内真实图片,作为样本输入到判别器D中;判别器D将样本内任意一张图片x,记为D(x);

步骤S202:将能否正确区分生成的图片和真实的图片作为判别器的损失,将能否生成近似真实的图片,并使得判别器将生成的图片判定为真实的照片作为生成器的损失,则生成对抗网络的目标损失函数为:;

其中,E表示下标对应分布的期望,z为随机噪声,为真实的图片,G(z)为生成器根据随机噪声产生的图片,是真实图片的分布,是生成的图片G(z)的分布,D(*)为判别器判断该图片是否为真实图片的概率;

保持生成器G的参数不变,根据判别器D的损失,对判别器D进行优化,判别器D的损失函数为:;

当D(x)接近于1,D(G(x))接近于0时,判别器D能够判别出生成的图片;

保持判别器D的参数不变,根据生成器G的损失,对生成器G进行优化,生成器G的损失函数为:;

当D(G(z))接近于1,判别器D不能够判别出生成的图片;

当与相等或者十分趋近时,此时判别器将生成的图片G(z)判定为真实的照片;

步骤S203:设置迭代次数,在每次迭代过程中,在生成器G内输入一个随机噪声,执行步骤S201、S202,直到生成图片的分布γ趋近于真实图片x的分布μ,即生成对抗网络训练完毕,否则继续迭代;

步骤S204:生成对抗网络训练完毕时生成器G生成多张能够以假乱真的图片,将图片输入原始数据集中获得扩增数据集。

3.根据权利要求1所述的基于改进YOLOv5的小样本芯片外观缺陷检测方法,其特征在于:步骤S4所述的利用扩增数据集训练引入CBAM注意力机制模块的改进YOLOv5神经网络模型,是指基于扩增数据集对引入CBAM注意力机制模块的改进YOLOv5神经网络模型,采用早停法进行训练,具体为:将扩增数据集划分为训练集、验证集,将训练集输入改进YOLOv5神经网络模型进行训练;设置迭代次数t,每经过n次迭代,利用验证集验证训练的效果,当验证集的泛化损失GL大于设定值α时,训练完成,并将上一次迭代的参数作为模型最终的参数,获得缺陷检测模型,泛化损失为:;

其中,t为迭代次数,为第t次迭代时的验证集误差,为前t次迭代中最小的验证集误差,。

4.根据权利要求1所述的基于改进YOLOv5的小样本芯片外观缺陷检测方法,其特征在于:步骤S5所述的获取待测芯片的图像,指使用相机对所有芯片采集图片,并输入计算机,计算机对图片上的芯片逐一标注位置信息,再对图片进行预处理。

5.根据权利要求4所述的基于改进YOLOv5的小样本芯片外观缺陷检测方法,其特征在于:所述的预处理包括:将图片灰度化、中值滤波降噪、边缘检测法、倾斜图像校正。

6.根据权利要求1所述的基于改进YOLOv5的小样本芯片外观缺陷检测方法,其特征在于:步骤S6所述的将检测出有缺陷的图片输入到显示器进行显示,并将对应的芯片进行激光标记,是指当缺陷检测模型检测出图片上的芯片有缺陷,计算机将该图片输到显示器进行显示,并根据图片的位置信息,控制打标机对有缺陷芯片进行激光标记。

7.一种基于改进YOLOv5的小样本芯片外观缺陷检测系统,其特征在于:包括模型训练模块、图片采集模块、显示和打标模块;

模型训练模块包括生成对抗网络训练模块和神经网络模型训练模块,生成对抗网络训练模块用于获得扩增数据集,神经网络模型训练模块用于将扩增数据集输入引入CBAM注意力机制模块的改进YOLOv5神经网络模型进行训练,获得缺陷检测模型;

CBAM注意力机制为通道注意力和空间注意力的双重注意力机制,将引入CBAM注意力机制模块的YOLOv5神经网络模型的中间特征图作为输入特征图,CBAM注意力机制模块依次推断出一个通道注意力特征图和一个空间注意力特征图,将和输入特征图F做逐元素的乘法操作,生成空间注意力模块所需的过渡特征图F`,将和过渡特征图F`做逐元素乘法,得到CBAM注意力机制的最终特征图F``:,`;

其中,F为输入的高为H,宽度为W,通道数为C的特征图,ⓧ为逐元素相乘,为通道注意力操作,为空间注意力操作;

所述的CBAM注意力机制模块推断出一个通道注意力特征图,具体为:将输入的特征图F分别经过基于高度H和宽度W的全局平均池化和全局最大池化,得到两个1×1×C的特征图,将两个1×1×C的特征图分别送同一个两层神经网络,第一层神经元个数为 C/r,r为减少率,激活函数为 ReLu函数,第二层神经元个数为 C,进行1×1的卷积操作,实现跨通道的信息交互;

将双层神经网络输出的特征进行基于逐元素的加和操作,再经过Sigmoid激活操作,生成通道注意力特征图:;

其中,为sigmoid函数,为平均池化,为最大池化,MLP为双层的神经网络,为将输入到双层神经网络得到的结果,为通道数为C的特征图F平均池化后的结果,为通道数为C的特征图F最大池化后的结果,为双层神经网络的第一层,为双层神经网络的第二层;

所述的CBAM注意力机制模块推断出一个空间注意力特征图,具体为:将中间特征图F`作为本模块的输入特征图,将F`经过基于通道C的全局最大池化和全局平均池化,得到两个H×W×1 的特征图,将两个H×W×1 特征图基于通道C做通道拼接操作,再经过一个7×7卷积操作,降维为1个通道,即H×W×1;

再经过BN归一化和Sigmoid激活生成空间注意力特征图:

;

其中,为sigmoid函数,为平均池化,为最大池化,为卷积操作,为通道数为S的特征图F平均池化后的结果,为通道数为S的特征图F最大池化后的结果;

图片采集模块用于获取芯片图像,再输入到缺陷检测模型进行检测;显示和打标模块用于显示检测结果和对有缺陷芯片进行标记。