1.一种大视野半导体芯片外观缺陷检测方法,包括以下步骤:
步骤一、输入大量存在一定缺陷的大视野半导体芯片外观图像;
步骤二、对步骤一获取到的半导体芯片外观图像依次分别进行9/16/25等分,分割成多尺度子缺陷图像数据集;
步骤三、对步骤二获取到的多尺度子缺陷图像进行图像标注,使用不同的颜色标签和类别,对半导体芯片子图像进行一系列缺陷标注,并输出与所标注的子图像对应的txt文件,保存标注框位置信息;
步骤四、得到步骤三标注完成的数据集后,按照一定的比例对数据集进行划分,分割成训练集和测试集;
步骤五、利用SMGC‑YOLOv5算法对步骤三所获取的多尺度子缺陷图像训练集进行端到端模型训练,训练过程中采用调参方式,以获取最优模型;
步骤六、将半导体芯片外观测试图像依次分别进行9/16/25等分,利用多线程处理的优势及步骤五所训练的最优模型,同时推理所有已生成的多尺度子缺陷图,以提升推理速度,子缺陷图推理结束后,再将子缺陷图的推理结果映射至大视野半导体芯片图像上,并输出对应的大视野半导体芯片外观图像缺陷推理图像,从而完成半导体芯片外观图像缺陷检测;
步骤七、对大量存在一定缺陷的大视野半导体芯片外观图像,经上述步骤处理,获取训练完成的模型和推理结果大图,实现大图输入、大图输出的端到端缺陷检测。
2.根据权利要求1所述的大视野半导体芯片外观缺陷检测方法,所述步骤三包括以下流程:流程一、缺陷标注:对获取到的多尺度子缺陷图像进行语义标注,使用自主开发的图像标注软件,对多尺度缺陷图进行标注,不同缺陷对应不同的颜色类别和标签类别;
流程二、一张子缺陷图上注若干检测框,并以固定的标签格式输出成txt文件,每张子缺陷图上的标签信息均会输出成txt文件,txt文件每行格式:标签号标记框中心的x坐标与整张图x轴长度比值,标记框中心的y坐标与整张图y轴长度比值,标记框宽度与整张图片x轴长度比值,标记框高度与整张图片y轴长度比值。
3.根据权利要求2所述的大视野半导体芯片外观缺陷检测方法,所述步骤五中的SMGC‑YOLOv5算法分为三个模块:输入端、Backbone主干网络和Head网络;
(1)输入端:包括图像预处理和数据增强模块,图像预处理即将输入图像缩放到网络的输入大小,并进行归一化等操作,同时,数据增强用于提升模型泛化能力,在现有数据集的基础上,增加参与模型训练的数据量,从而提升模型的性能,其包含以下操作:左右翻转、片拼接、机调整色度和随机缩放;
(2)Backbone主干网络:该模块用来提取半导体芯片图像中缺陷的深度特征;
(3)Head网络:Head用来完成目标检测结果的输出,针对本SMGC‑YOLOv5检测算法,输出端有三个分支,分别对应待检测图的三种不同尺度缺陷检测框类型,输出尺寸为80*80*256的YoloHead用于检测小目标,40*40*512的用于检测中等目标,20*20*1024的用于检测大目标。
4.根据权利要求3所述的大视野半导体芯片外观缺陷检测方法,所述步骤五中多尺度组卷积中每组的通道数不同,设定多尺度组卷积的输入包含Ci个通道数,多尺度组卷积每
2 2 2
一层的卷积核尺寸为:K1 ,K2 ,....Kn,深度为:
对应的输出特征维度为Co1,Co2,...,ConA;
多尺度卷积的参数量和计算复杂度如下:
FLOPs=Para·w·h
上式,中Co1+Co2+...+Con=Co,w和h代表子缺陷图的宽和高,若某网络层输出的通道数相同,则该层的参数量与计算复杂度分布较为均匀,基于上述描述,多尺度组卷积的计算复杂度与标准卷积相近。
5.根据权利要求4所述的大视野半导体芯片外观缺陷检测方法,所述步骤六包括以下流程:半导体芯片推理图像被分割成三种尺度:9/16/25等分,利用多线程处理技术,对不同尺寸的子缺陷图并行推理,推理结束后,对于同一张原图的多尺度子缺陷图逐一进行映射处理,即将子图中缺陷检测框映射至相应的半导体芯片外观大图中的对应位置,在原待检测图中的子图中,缺陷检测框的中心位置将映射至原待检测图上,缺陷检测框相对于子图的位置和大小也随之映射至原待检测图中。
6.根据权利要求5所述的大视野半导体芯片外观缺陷检测方法,所述步骤六的具体映射公式如下:p∈[0,n‑1],q∈[0,n‑1]
上式中,对于n等分的图像,[p,q]代表子图的编号,w和h代表原图像的宽和高,(xi,yi)表示相对于子图的检测框的中心位置,(x1,y1)表示相对于子图的检测框的左上顶点位置,(X,Y)为映射至原图中检测框中心位置,(X1,Y1)为映射至原图中检测框左上顶点位置,(X2,Y2)为映射至原图中检测框右下顶点位置;从而完成缺陷检测框的定位工作,将多尺度子缺陷图中的检测框逐一映射至大视野半导体芯片外观图像中,输出检测结果大图,完成端到端缺陷检测;最后,输出一张原大小的大视野半导体芯片外观缺陷检测图像,实现大图输入、大图输出的端到端缺陷检测。