1.一种基于强化特征融合的Sparse‑rcnn的布匹瑕疵检测方法,其特征在于,包括:步骤1:收集不同光源下的瑕疵图像和模板图像,对瑕疵图像中的瑕疵进行人工标注;
其中,瑕疵图像是指有瑕疵的布匹图像,模板图像是指无瑕疵的布匹图像;
步骤2:对收集到的所有图像数据进行预处理;
步骤3:将预处理后的图像数据进行差值组合三通道处理,得到新的三通道,将新的三通道输入至预先构建好的基于强化特征融合的Sparse‑rcnn的布匹瑕疵检测网络模型进行训练;
步骤4:将待检测布匹图像输入至训练好的所述布匹瑕疵检测网络模型,得到瑕疵检测结果;
其中,所述的布匹瑕疵检测网络模型的结构:包括骨干网络、动态实例交互头和分类回归层;
所述骨干网络采用基于DHLC架构的FPN,具体包括:将k个完全相同的resnet101的backbone分成两组,其中的k‑1个backbone构成第一组,剩下的1个backbone单独作为第二组;第一组中的所有backbone通过DHLC架构连接后作为辅助骨干;第二组作为主导骨干。
2.根据权利要求1所述的一种基于强化特征融合的Sparse‑rcnn的布匹瑕疵检测方法,所述预处理包括:灰度化处理和高斯滤波处理。
3.根据权利要求1所述的一种基于强化特征融合的Sparse‑rcnn的布匹瑕疵检测方法,步骤3中,所述的将预处理后的图像数据进行差值组合三通道处理,得到新的三通道,具体包括:将已标注的待检测图像作为第一通道;将模板图像作为第二通道;将已标注的待检测图像与模板图像进行向量减操作,操作结果作为第三通道。
4.根据权利要求1所述的一种基于强化特征融合的Sparse‑rcnn的布匹瑕疵检测方法,其特征在于,所述辅助骨干具体包括:P1层特征提取模块、P2层特征提取模块、P3层特征提取模块、P4层特征提取模块和P5层特征提取模块;其中,后四个特征提取模块的结构相同;
Pl表示对输入的特征图进行l倍下采样,l=1,2,3,4,5;
所述P1层特征提取模块的特征提取过程包括:输入的特征图依次经过64个尺寸为7的卷积核、BN层、线性激活层Relu和最大池化层进行处理,得到特征图C1;接着采用SE模块对特征图C1进行下采样处理得到特征图C1’;
所述P2层特征提取模块模块的特征提取过程包括三个子过程,分别为:输入的特征图依次经过64个尺寸为1的卷积核和线性激活层Relu;输入的特征图依次经过64个尺寸为3的卷积核和线性激活层Relu;输入的特征图依次经过256个尺寸为1的卷积核和线性激活层Relu得到特征图C2;接着采用SE模块对特征图C2进行下采样处理得到特征图C2’;同理,将所述P3层特征提取模块提取的特征图分别记作特征图C3和特征图C3’;将所述P4层特征提取模块提取的特征图分别记作特征图C4和特征图C4’;将P5层特征提取模块提取的特征图分别记作特征图C5和特征图C5’。
5.根据权利要求4所述的一种基于强化特征融合的Sparse‑rcnn的布匹瑕疵检测方法,其特征在于,各特征提取模块中的SE模块对特征图的处理过程具体包括:待处理的尺寸为W×H×C的特征图依次经过全局池化层、全连接层和激活函数层,得到1×1×C向量;
待处理的尺寸为W×H×C的特征图与得到的1×1×C向量进行权重相乘,得到尺寸为W×H×C的新特征图。
6.根据权利要求4所述的一种基于强化特征融合的Sparse‑rcnn的布匹瑕疵检测方法,其特征在于,所述主导骨干的处理过程具体包括:使用1×1×256的卷积核将特征图C5’的维度降到256,然后再经过3×3的卷积层,得到特征图P5;
将特征图C5’上采样后与经过1×1降维处理过的特征图C4’做相加操作,再经过3×3的卷积层,得到特征图P4;
将特征图C4’上采样后与经过1×1降维处理过的特征图C3’做相加操作,再经过3×3的卷积层,得到特征图P3;
将特征图C3’上采样后与经过1×1降维处理过的特征图C2’做相加操作,再经过3×3的卷积层,得到特征图P2。
7.根据权利要求1所述的一种基于强化特征融合的Sparse‑rcnn的布匹瑕疵检测方法,其特征在于,所述动态实例交互头的处理过程具体包括:将输入的特征图进行ROIAlign处理获得ROI特征;
随机初始化预选框和预选特征;
将预选特征经过一层全连接层后与所述ROI特征进行卷积操作,并做线性处理后输出至分类回归层。
8.根据权利要求1所述的一种基于强化特征融合的Sparse‑rcnn的布匹瑕疵检测方法,其特征在于,训练过程中,使用的loss函数具体为:其中,λRid、λL1和λgiou分别为 损失、 损失和 损失对应的权值; 为Ridloss, 表示标签为yi的样本xi被识别为yi的预测值; 为L1loss, 其中,yi是真实值,f(xi)是预测值;
其中, A、B分别代表真实框、预测框的面积;Ac=A+B,U=A+B‑|A∩B|。
9.根据权利要求7所述的一种基于强化特征融合的Sparse‑rcnn的布匹瑕疵检测方法,其特征在于,所述的ROIAlign处理的反向传播公式为:其中, 分别代表ROIAlign对xi、yrj的偏导;xi代表池化前特征图上的点;yrj代表池化后的第r个候选区域的第j个点;d(i,i*(r,j))表示点xi和点xi*(r,j)之间的距离,Δh和Δw表示与xi与xi*(r,j)横纵坐标的差值。
10.根据权利要求7所述的一种基于强化特征融合的Sparse‑rcnn的布匹瑕疵检测方法,其特征在于,在将预选特征经过一层全连接层后与所述ROI特征进行卷积操作中,所述卷积操作具体为:先进行两次连续的1×1卷积处理,再采用ReLU激活函数处理。