1.一种全方位的药瓶外观缺陷检测方法,其特征在于,获取药瓶外观图像信息;
将获取的图像信息采用语义‑像素融合检测评判标准边界模糊的微小外观缺陷;同时,采用孪生缺陷分类网络,识别特征差异明显、样本稀少的较大外观缺陷以及由于生产工艺或外界环境变化而产生的未知缺陷。
2.如权利要求1所述的方法,其特征在于,所述语义‑像素融合检测从输入端到输出端,分别包括目标检测网络、类型滤波器、以及阈值滤波器对图像信息进行处理。
3.如权利要求1或2所述的方法,其特征在于,所述语义‑像素融合检测包括:获取瓶口、瓶身、瓶底三个角度的图像;
对图像进行预处理,其中,预处理包括:降采样、边缘检测和匹配定位,再进行感兴趣区域提取;
将待检测样本提取出的感兴趣区域输入基于深度学习的目标检测网络,目标检测网络的选择根据不同模型的实际表现对比进行更换,通过对Faster‑RCNN、YoloV3+DarkNet与YoloV3+MobileNetV1目标检测网络性能进行综合比较,选择表现最好的Faster‑RCNN进行目标检测;
将所有目标检测得到的语义级缺陷信息进行类型滤波,划分为可容忍与不可容忍缺陷;
对于不可容忍缺陷,直接根据该缺陷识别结果的置信度高低进行判断;
对于可容忍缺陷,判断缺陷识别的置信度,以及对区域级缺陷结果进行面积、长度和灰度等像素级特征计算。
4.如权利要求3所述的方法,其特征在于,所述预处理包括具体包括:对原始图像进行降采样,将各部位图像的长和宽缩短为原始图像的1/4,在保留缺陷信息的同时减少计算量;
对降采样图像进行边缘检测,分别使用X方向与Y方向的Sobel算子对各部位灰度图像进行卷积操作,设降采样图像为A,Gx是对A进行x方向上的卷积结果,GY是对A进行y方向上的卷积结果,二者结合后的边缘检测结果图像为G,具体见公式(1)、公式(2):将边缘检测结果图的长宽分别放大4倍,恢复原始图像的大小后,对其进行轮廓提取,选取瓶口、瓶底、瓶身最大外包络作为目标轮廓,并计算目标轮廓的最小外接矩形,取瓶口、瓶身与瓶底的外边沿所在列作为药瓶图像的标定列,得到标定列的起始坐标为(X,Y),完成匹配定位;
以标定列起始坐标(X,Y)为基准,提取感兴趣区域ROI,即从被处理的图像以任意形状勾勒出需要处理的区域,设ROI形状为矩形,W与H分别为ROI的长与宽,Rwi,Rhi为人为设定的ROI长宽比例系数,则感兴趣区域ROI由起始点坐标(Xi,Yi)和ROI长宽W、H唯一确定,起始点坐标(Xi,Yi)的计算见公式(3)、公式(4):Xi=X+W×Rwi (3)Yi=Y+H×Rhi (4)。
5.如权利要求1所述的方法,其特征在于,对于可容忍缺陷,判断缺陷识别的置信度,以及对区域级缺陷结果进行面积、长度和灰度等像素级特征计算具体处理方法如下:将检测结果分为有缺陷区域Ri与无缺陷区域Rn,并计算无缺陷区域Rn的最大、最小灰度值,设为Gmax与Gmmin;
设TG为人为设定的灰度百分比系数,取值范围为[0,1],以此来控制缺陷检测的严格程度,用K表示无缺陷灰度范围为:
[Gmin‑TG×Gmin,Gmax+TG×(255‑Gmax)] (5)计算有缺陷区域Ri的灰度范围,若包含于无缺陷灰度范围K,则该缺陷无效,若不包含于K,则该缺陷有效;
对于有效缺陷,使用直方图均衡化突出缺陷图像,并对缺陷图像进行面积、长度和灰度等像素级特征计算,再将计算结果与人为设定的标准阈值进行比较;最后得到缺陷检测的最终结果。
6.如权利要求1所述的方法,其特征在于:所述孪生缺陷分类网络包括:基于两个分支神经网络建立耦合构架,其中两个分支神经网络具有相同的主干网络,且彼此之间参数共享;
分支神经网络采用12个卷积层进行特征提取,通过6个池化层减少冗余数据量,最后采用3个全连接层进行分类,其神经元个数分别为512、64、1。
7.如权利要求6所述的方法,其特征在于:所述孪生缺陷分类网络具体包括:将数据集按照瓶口、瓶身、瓶底、整体四个类别进行分类,每种类别均含有正样本与负样本,其中正样本为无缺陷图像,负样本为有缺陷图像;
将单张正样本和单张流水线上采集的相同部位的待测样本同时输入孪生缺陷分类网络,待测样本图像指流水线上实时采集的图像;
经过主干网络进行特征提取之后,通过计算两个分支神经网络输出结果之间的欧式距离,比较两个样本的相似程度,设M,N分别为正样本与待测样本经过孪生缺陷分类网络后所输出的特征向量,Mi与Ni分别为特征向量中第i个元素,则M与N之间的欧氏距离计算见公式(6);
若M与N之间的欧氏距离小于阈值,则待测样本判断为正样本,若距离大于阈值则判断为负样本。