1.一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法,其特征在于,所述方法包括以下步骤:S100:利用高清工业相机对飞机蒙皮进行拍照获取图片数据,并对所述图片数据进行预处理;
S200:通过标注软件对预处理好的数据进行标注,获取用于网络训练的数据集;
S300:建立一个基于特征擦除和边界细化的缺陷检测网络模型,其中,所述缺陷检测网络模型包括依次连接的特征提取网络、语义引导的特征擦除模块、多尺度特征融合网络和基于边界细化的缺陷预测网络,所述特征提取网络用于提取多尺度特征图;所述语义引导的特征擦除模块用于对所述多尺度特征图进行处理,使特征图的预设区域有预设概率置零;所述多尺度特征融合网络用于将处理后的不同尺度的特征进行深度融合得到融合后的多尺度特征图;所述基于边界细化的缺陷预测网络用于根据融合后的多尺度特征图进行预测得到分类预测结果和框预测结果;
S400:利用所述数据集对所述缺陷检测网络模型进行训练得到分类预测结果和框预测结果,根据所述分类预测结果、所述框预测结果和预设的网络损失函数进行反向传播对网络权重进行更新,在完成预设训练轮次之后,得到训练好的缺陷检测网络模型;
S500:利用所述训练好的缺陷检测网络模型对直接采集到的蒙皮涂胶图像进行检测,并得到质量缺陷检测结果;
S300中所述特征提取网络用于提取多尺度特征图,所述语义引导特征擦除模块用于对所述多尺度特征图进行处理,使特征图的预设区域有预设概率置零,包括:S311:所述数据集中的缺陷图片经过所述特征提取网络中的残差网络提取之后得到三个具有不同尺度大小的输入特征图;
S312:按照预设的大小将任一所述输入特征图 进行切块,得到大小、通道数相同的特征块 ,其中, 代表特征块的数量;
S313:将所述输入特征图 输入到全局平均池化层中得到具有全局语义特征信息的全局语义特征g;
S314:计算所述每个特征块 和所述全局语义特征g之间的语义相似度cos_sim,其中相似度度量方式采用余弦距离,计算公式如下:;
S315:根据所述语义相似度cos_sim从大到小排序得到 ,并取出相似度高的前K个矩阵块 ;
S316:将所述 特征输入到DropOut层当中,设置DropOut的概率,即 特征中每个元素会有预设概率被设置为零。
2.根据权利要求1所述的方法,其特征在于,S300中基于边界细化的缺陷预测网络用于根据融合后的多尺度特征图进行预测得到分类预测结果和框预测结果,包括:S321:将所述融合后的多尺度特征图 输入到缺陷特征增强网络之中得到缺陷形状增强后的特征 ;
S322:将所述缺陷形状增强增强后的特征 分别输入到粗分类分支和粗框预测分支得到粗分类结果 、增强后的分类特征、粗框预测结果 和增强后的粗框预测;将所述粗分类结果和所述增强后的分类特征输入到所述粗分类分支的边界感知模块之中得到细化分类特征 ,将所述粗框预测结果与所述增强后的框预测输入到所述粗框预测分支的边界感知模块得到细化框预测特征 ;
S323:将所述细化分类特征 和所述细化框预测特征 分别和所述缺陷形状增强后的特征 融合,分别再输入到两个1x1卷积层中得到最终的分类预测结果和框预测结果 。
3.根据权利要求2所述的方法,其特征在于,S321包括:S3211:将所述融合后的多尺度特征图 输入到缺陷特征增强网络进行横向和纵向的全局平均池化操作,得到具有细长形状感知能力的横向特征 和纵向特征 ;
S3212:通过双线性插值法对所述横向特征 和纵向特征 进行插值,得到和所述融合后的多尺度特征图 大小一致的横向特征 和纵向特征 ,具体为:;
;
其中, 表示双线性插值法, 和 分别代表纵向和横向的全局平均池化操作;
S3213:再将所述横向特征 和所述纵向特征 进行对应元素相加,得到具备纵横两方向感知的融合特征,并依次经过1x1卷积和Sigmoid层得到和所述融合后的多尺度特征图大小一致的权重w;
S3214:将所述权重w与所述融合后的多尺度特征图 进行元素相乘得到缺陷形状增强后的特征 ,计算公式如下:;
;
其中, 表示Sigmoid层,conv1表示1x1卷积,“+”表示元素相加,“ ”表示逐元素相乘。
4.根据权利要求3所述的方法,其特征在于,所述粗分类分支和所述粗框预测分支均包括4个3x3卷积层和1个1x1卷积层,S322包括:S3221:将所述缺陷形状增强后的特征 分别输入到所述粗分类分支和所述粗框预测分支中,通过4个3x3卷积层得到增强后的分类特征 和增强后的粗框预测特征,所述增强后的分类特征 通过1x1卷积层输出得到粗分类结果,所述增强后的粗框预测特征 通过1x1卷积层输出得到粗框坐标偏移量,将所述粗框坐标偏移量 解码得到预测框坐标;
S3222:将所述预测框坐标 和所述增强后的分类特征 输入至所述粗分类分支的边界感知模块得到具有边界感知的细化分类特征 ,将所述预测框坐标 和所述增强后的粗框预测特征 输入至所述粗框预测分支的边界感知模块得到具有边界感知的细化框预测特征 。
5.根据权利要求4所述的方法,其特征在于,S3222包括:S32221:将所述增强后的分类特征 和所述增强后的粗框预测特征 分别输入到2个3x3卷积层得到中心特征 和边界特征 ,将所述中心特征 和所述边界特征 进行拼接得到拼接后的特征 ;
S32222:将所述特征 和所述预测框坐标 输入到边界对齐模块中,所述边界对齐模块先对粗预测框的四条边均匀采样N个点,并通过双线性插值法得到每个点对应特征图 的值,取N个点中的特征最大值作为对应边的边界感知值,得到输出 ;
S32223:将所述特征 同时输入到3x3卷积层和Sigmoid函数得到每个点的掩码mask:;
;
S32224:将所述掩码mask和所述拼接后的特征 进行逐元素相乘,并将其经过1x1卷积降维之后,作为所述边界感知模块的输出 或 。
6.根据权利要求5所述的方法,其特征在于,S32222的计算公式如下:;
其中,C表示通道数,(i,j)表示特征点坐标, 表示粗预测框左上角点的坐标, 表示粗预测框右下角坐标,k表示采样点位置, ,N表示采样点数量,h和w分别表示预测框的高和宽。
7.根据权利要求6所述的方法,其特征在于,预设的网络损失函数包括分类损失Focal Loss和框预测损失GIoU Loss,所述分类损失包括粗分类损失 和最终细化后的分类损失 ,所述框预测损失GIoU Loss包括粗预测损失 和细预测损失 ;
所述分类损失Focal Loss,计算方式如下:;
;
其中,y代表分类的真实标签,p代表粗分类或细分类的预测值, 是超参数,用于调节粗‑细分类损失之间的权重;
所述框预测损失GIoU Loss,计算方式如下:;
;
其中,IoU表示标签和预测框之间的交并比,C表示最小封闭形状, 表示C的面积,U表示A和B的面积, 是超参数,用于调节粗‑细框预测损失之间的权重;
最终整个网络的损失函数计算方式如下:
;
其中,是超参数,用于调节分类和框预测损失之间的权重占比。