1.一种基于混合监督学习的表面异常检测方法,其特征在于,所述方法包括以下步骤:S1、获取包含异常样本和正常样本的图像数据并构建对应的数据集,其中,异常样本记为正样本,正常样本记为负样本;
S2、将数据集中的所有图像数据裁剪为统一尺寸并按比例分为训练集和测试集,然后通过标注工具对所有负样本以及训练集中少量的正样本和测试集中的所有正样本进行像素级标注,得到包含部分正样本和所有负样本的标注后的像素级标签;
S3、将标注后的像素级标签的像素值进行归一化处理,并对归一化处理后的像素级标签进行八倍下采样,得到八倍下采样后的标签ymask;然后利用膨胀函数对正样本中标注后的像素级标签进行L倍膨胀以获取粗糙的像素级标签,对粗糙的像素级标签应用距离变化算法进行处理得到加权分割损失矩阵,最后对所得到的加权分割损失矩阵进行八倍下采样,从而得到八倍下采样后的加权分割损失矩阵;
S4、构建包括异常定位网络、自注意力网络和异常判别网络的神经网络模型,并将步骤S2中得到的训练集中的图像数据及其对应的像素级标签和步骤S3中得到的八倍下采样的加权分割损失矩阵输入所构建的神经网络模型中进行训练,得到异常检测神经网络模型;
S5、将采集到的待测图像数据输入异常检测神经网络模型中,通过异常检测神经网络模型自动判别待测图像是否存在异常并对异常区域进行定位,进而实现待测物体表面的异常检测。
2.根据权利要求1所述的基于混合监督学习的表面异常检测方法,其特征在于,所述步骤S2的具体实现方式为:首先,将数据集中获取的所有图像数据均裁剪为统一尺寸W×H,W表示图像数据的宽度,H表示图像数据的高度,并将数据集中的正样本和负样本按7:3的比例分为训练集和测试集;然后,通过标注工具labelme对所有负样本以及训练集中少量的正样本和测试集中的所有正样本进行像素级标注,即可获得包含像素级标签的输入数据y与不含像素级标签的输入数据x,其中,缺陷区域像素值标记为255,背景区域像素值标记为0。
3.根据权利要求2所述的基于混合监督学习的表面异常检测方法,其特征在于,所述步骤S3中八倍下采样的操作具体为:首先使用OpenCV中的ReflectionPad2d函数进行八倍镜像填充,然后进行步长为8,感受野为17×17的平均池化,得到八倍下采样结果。
4.根据权利要求3所述的基于混合监督学习的表面异常检测方法,其特征在于,所述步骤S3的具体实现方式包括:
S31、将所有标注后的像素级标签数据的像素值进行归一化处理,像素值为255的像素点归一化后像素值为1,像素值为0的像素点归一化后像素值为0;
S32、对像素值归一化后的像素值标签进行八倍下采样,得到八倍下采样后的像素级标签数据ymask;
S33、利用膨胀函数对正样本中标注后的像素级标签进行L倍膨胀以获取粗糙的像素级标签y′mask;
S34、对粗糙的像素级标签y′mask应用距离变化算法进行处理得到加权分割损失矩阵,并对加权分割损失矩阵进行八倍下采样,从而得到八倍下采样后的加权分割损失矩阵ymask_loss。
5.根据权利要求4所述的基于混合监督学习的表面异常检测方法,其特征在于,所述步骤S33的具体操作为:基于opencv中的dilate函数,首先,将该函数的感受野大小设置为L×L,感受野的锚点设置在感受野的中央位置;然后,通过该感受野对正样本中标注后的像素级标签图像进行扫描并计算叠加区域的最大像素值;最后,将该感受野锚点的位置用所计算出的最大像素值替代,进而得到膨胀后的粗糙的像素级标签y′mask。
6.根据权利要求5所述的基于混合监督学习的表面异常检测方法,其特征在于,所述步骤S34中对粗糙的像素级标签y′mask应用距离变化算法进行处理是指计算每个正像素点与最近的负像素点之间的距离,进而加权每个像素点在正样本像素级标签中的正像素区域的影响,将相对距离值转换为损失的权重,即:当检测到的像素点的像素值为1时,则该像素点的损失权重用公式表示为:式(1)中,Lseg(pix)i表示通过二元交叉熵损失计算得到的第i个正像素点的损失权重值,L(pix)i表示通过二元交叉熵损失计算得到的第i个正像素点的损失,Ω()为缩放函数,D(pix)i表示第i个正像素点到最近的负像素点的距离,D(pixmax)表示所有正像素点到最近p
负像素点的距离的最大值,其中,Ω(a)=wpos·a ,wpos与p表示超参数,p表示随着像素点不断远离中心时该像素点重要性降低的速率,wpos表示所有正像素点的附加标量权值,正像素点是指正样本像素级标签中非0像素值的像素点,负像素点是指像素值为0的像素点;
当检测到的像素点的像素值为0时,则令该像素点的损失权重值为1。
7.根据权利要求6所述的基于混合监督学习的表面异常检测方法,其特征在于,所述步骤S4中的神经网络模型中的异常定位网络用于定位输入图像数据中的缺陷位置,自注意力网络用于增强特征图的表达能力以提高网络缺陷定位精度,其包括用于通道特征提取的通道自注意力网络和用于空间特征提取的空间自注意力网络,异常判别网络用于判断输入图片是否存在异常并输出判别结果。
8.根据权利要求7所述的基于混合监督学习的表面异常检测方法,其特征在于,所述步骤S4中异常检测神经网络模型的训练包括:S41、将训练集中的图像数据输入具有五个特征提取阶段的异常定位网络中进行特征提取,其中,第j个特征提取阶段输出的特征图尺寸定义为Aj,每个特征图的尺寸记为Cj×Wj×Hj,j=1,2,3,4,5,Cj表示第j个特征提取阶段输出特征图的通道数,Wj和Hj分别表示第j个特征提取阶段输出特征图的宽和高,第五特征提取阶段的输出A5即异常定位网络的输出;
S42、在异常定位网络的第三个特征提取阶段中引入自注意力网络,将异常定位网络第二个特征提取阶段的输出特征图分为三路特征,第一路特征使用通道注意力网络进行通道特征提取,第二路特征不进行处理,第三路特征使用空间注意力网络进行空间特征提取,并将三路特征进行逐元素相乘后作为自注意力网络的输出A2′,同时将异常定位网络第三个特征提取阶段进行卷积操作后的特征图与自注意力网络输出的特征图A2′进行逐元素相加,然后进行池化操作后并作为第四个特征提取阶段的输入;
S43、将异常定位网络第四个特征提取阶段的输出A4和第五个特征提取阶段的输出A5联合输入异常判别网络中进行异常判别;
S44、设计损失函数,根据损失函数反向传播对神经网络参数进行调整,进而获取最优网络参数,得到最优的神经网络模型。
9.根据权利要求8所述的基于混合监督学习的表面异常检测方法,其特征在于,所述步骤S43的具体实现方式包括:首先,将异常定位网络第四个特征提取阶段的输出A4和第五个特征提取阶段的输出A5进行concat后输入异常判别网络中进行三个阶段的卷积和池化处理;然后将卷积和池化处理后的输出与异常定位网络第五个特征提取阶段的输出A5分别进行全局平均池化和全局最大池化;最后,将全局池化后输出的四个特征图进行concat,然后输入全连接层进行异常判别并输出判别结果。
10.根据权利要求9所述的基于混合监督学习的表面异常检测方法,其特征在于,所述步骤S44中是损失函数用公式表示为:Ltotal=λ·Lseg+δ·(1‑λ)·Ldec (2)式(2)中,Ltotal表示损失函数,Lseg表示异常定位网络的总分割损失,Ldec表示异常判别网络的总分类损失,λ表示动态平衡因子,用于平衡两个异常定位网络和异常判别网络在总损失中的占比,δ表示额外的分类损失权重。