1.一种工业缺陷检测的图像分割方法,其特征在于,包括步骤:
步骤S1、异构数据融合学习,具体为:
S101、构建来自不同工业缺陷检测领域的第一图像数据集合A和第二图像数据集合B,形成工业缺陷检测异构图像数据集;
S102、异构数据预处理:分别对第一图像数据集合A、第二图像数据集合B进行预处理,提取图像空间维特征,分别获得两个空间特征信息矩阵;
S103、将步骤S102获得的两个空间特征信息矩阵分别输入两个独立的递归加权模型,执行递归加权操作,输出与两个输入的空间特征信息矩阵分别对应的工业缺陷图像空间特征矩阵;
S104、通过计算融合迁移模型的广义最大平均差异来构建融合迁移模型的损失函数,将递归加权模型中的加权模型向量进行正则化以优化损失函数的结构,实现异构数据的融合学习,将异构数据融合学习训练得到的参数结果作为预训练模型参数,实现递归加权融合学习;
步骤S2、不同类型的工业缺陷的实时检测,具体为:
S201、输入采集的工业缺陷图像至特征抽取模块,完成异构图像数据集异构数据融合学习之后,在特征抽取模块中通过知识迁移实现三层次特征抽取的参数最优化,完成对工业缺陷图像的特征抽取,分别输出三层特征图 和 其中将第三层输出的特征图通过知识抽取与推理模块,用以预测输入图像是否含有工业缺陷,最后输出特征图S202、将特征图 输入至图像分割上采样扩展模块,同时合并特征图 和特征图进一步经过通道压缩运算,分别对应输出 三类特征图;
S203、在图像分割上采样扩展模块的复合卷积运算单元的每个结果,即 产生一个侧输出,由正确标注数据实现对生成的全分辨率特征图执行深度监督学习;
S204、采用多通道工业缺陷分割实现对原始输入图像的像素级分类,即工业缺陷检测的语义分割,对于N种不同类型的工业缺陷,采用1×1卷积实现特征图 宽广通道数到通道数N的转换,输出图像分割结果为最多N种工业缺陷的实时检测。
2.根据权利要求1所述的一种工业缺陷检测的图像分割方法,其特征在于:步骤S101中,针对异构数据集,即来自不同工业缺陷检测领域的第一图像数据集合A和第二图像数据集合B,其中第一图像数据集合A包含U种不同类型工业缺陷特征,第二图像数据集合B包含另外V种不同类型工业缺陷特征,第一图像数据集合A和第二图像数据集合B具有共同的W种不同类型工业缺陷特征。
3.根据权利要求2所述的一种工业缺陷检测的图像分割方法,其特征在于:步骤S102是采用空间特征提取器 空间特征提取器 进行处理,具体如下:(1)空间特征提取器 的处理过程为:对第一图像数据集合A进行预处理提取图像空间维特征:提取在空间维上的RGB信息,通过深度神经网络模型,分别针对具有RGB三通道信息的原始图像,使用预训练的密集网络DenseNet直接执行空间特征提取任务,输出是对应的s维向量,给定图像数据每个分组包含G幅图像,输出G个s维矢量,并依次形成s×G矩阵,表示为 的矩阵;
(2)空间特征提取器 的处理过程为:采用与步骤(1)相同的方法,对第二图像数据集合B进行预处理提取图像空间维特征,得到输出t维向量,给定图像数据每个分组包含G幅图像,输出G个t维矢量,并依次形成t×G矩阵,表示为 的矩阵。
4.根据权利要求3所述的一种工业缺陷检测的图像分割方法,其特征在于:在步骤S103中,将步骤S102获得的两个空间特征信息矩阵 分别输入两个独立的递归加权模型,并且输出结果是与输入的空间特征信息矩阵分别对应的信息矩阵递归加权模型结构包括左右两支信息流,分别对应第一图像数据集合A和第二图像数据集合B,每支信息流的递归加权模型结构都是相同的,使用相同激活函数tanh,即双曲正切函数,表达式为:x ‑x x ‑x
tanh(x)=(e‑e )/(e+e )。
5.根据权利要求4所述的一种工业缺陷检测的图像分割方法,其特征在于:对于第一图像数据集合A的左支信息流处理过程为:将输入的空间特征信息矩阵 依次通过膨胀卷积层DC11、激活函数运算单元、膨胀卷积层DC12和指数线性单元ELU,其中膨胀卷积层DC11,对应于参数 a,c为可配置的超参数;激活函数为
tanh;膨胀卷积层DC12,对应参数 指数线性单元输出产生加权模型向量VS,其中操作关系如下:再将 分别乘以空间特征信息矩阵 得到递归加权空间特征矩阵 其中
表示实数集;
对于第二图像数据集合B的右支信息流处理过程,与左支信息流处理过程相同:数据输入通过膨胀卷积层DC21、激活函数运算单元、膨胀卷积层DC22和指数线性单元;其中膨胀卷积层DC21,对应的参数 b为可配置的超参数,激活函数为tanh,膨胀卷积层的DC22,对应参数 指数线性单元输出产生加权模型向量VT,其中 操作关系如下:
再将 分别乘以空间特征矩阵 以获得递归加权空间特征矩阵 其中
通过上述操作获得的工业缺陷图像递归加权空间特征矩阵 和 执行递归加权操作,基于下式用于计算训练阶段的损失函数,表示为 应用于工业缺陷特征识别:其中T表示实矩阵转置,Pi,Qi分别表示膨胀卷积层中的计算矢量和矩阵参数,i=1,2;
计算矢量和矩阵参数在模型训练过程中得到优化,
符号运算∥是指将多个列向量依次并排组合成矩阵,将空间特征列向量并排组合以获得k×2矩阵,其中k是工业缺陷特征识别的分类数。
6.根据权利要求5所述的一种工业缺陷检测的图像分割方法,其特征在于:步骤S104具体为:递归加权模型中的加权模型向量VS和VT需要进行正则化以优化损失函数lossψ的结构,给定 令 其中 表示转置运算,lossψ形式如下:
其中 代表hadamard积,|| ||2表示2范数,矩阵 如下定义:
综上,用于训练工业检测异构数据集的损失函数构成如下:
7.根据权利要求5所述的一种工业缺陷检测的图像分割方法,其特征在于:步骤S201中,所述特征抽取模块:包括异构数据融合学习单元、特征抽取单元,所述特征抽取单元包括三层依次串接的2D卷积子模块(F1,F2,F3),其中:输入采集的工业缺陷图像数据经过裁剪为像素 的图片大小,将该裁剪后的图像输入特征抽取子模块F1,首先经过一个补零的等宽等高的5×5卷积,得到同样大小的特征图,再经过ELU激活函数、补零的等宽等高的5×5卷积、接着通过2×2平均池化,最后输出的是尺寸为 的特征图,将该特征图表示为 特征抽取子模块F2,F3的处理过程与右支信息流处理过程相同,特征抽取子模块F2,F3的网络参数通过知识抽取与推理模块的知识迁移单元实现参数共享,特征抽取子模块F2,F3的输出分别为特征图 和特征图所述知识抽取与推理模块,包括知识迁移单元、知识表示与抽取单元:
知识迁移单元用于接收特征抽取模块的异构数据融合学习功能单元的输出,结合监督学习辅助训练实现,完成图像中是否有工业缺陷的判断以及缺陷类型判别,通过知识迁移单元实现参数共享到特征抽取子模块F2,F3;再基于工业缺陷常识知识库,在知识表示与抽取单元接收来自特征抽取子模块F3的输出,实现知识抽取与推理功能,用以预测输入图像是否含有工业缺陷,最后输出特征图
8.根据权利要求7所述的一种工业缺陷检测的图像分割方法,其特征在于:步骤S202中,图像分割上采样扩展模块的处理具体包括:图像分割上采样扩展模块接收输入特征图 特征图 的尺寸为 将特
征图 经过特征图扩展映射,长宽扩展为 其中特征图扩展映射用Expand
(·)表示;同时合并来自特征抽取子模块F2的输出特征图 和特征抽取子模块F3的输出特征图 其中输出特征图 需要先经过特征图压缩映射Abstract将特征图长宽压缩为输出特征图 的长宽就是 即长宽都相同的这三个特征图级联为一个整体;
经过复合卷积FCNA[·]运算得到输出特征图 长宽为 进一步经过通道
压缩运算,即采用1×1卷积实现通道数转换进入下一个复合卷积运算单元,共计级联了三个复合卷积运算单元,分别对应输出 三类特征图。
9.根据权利要求7所述的一种工业缺陷检测的图像分割方法,其特征在于:还包括图像分割上采样扩展模块的信息流运算构建,以知识抽取与推理模块为桥梁,融合特征抽取模块和图像分割上采样扩展模块,实现全局上下文特征汇聚与工业缺陷目标局域定位:其中运算符 表示对其左右项按位级联操作;FCNA[·]代表复合卷积运算,表示对其中元素的一组顺序运算,即首先进行适配补零的5×5卷积运算,实现输入特征图在输出后长宽都保持不变,接着进行归一化和S型函数激活运算,其中S型函数Sigmod(t)=S(t)=1/(1‑t+e );Abstract(·)表示特征图压缩映射,通过无重叠2×2平均池化算法实现输入特征图长宽压缩为原来的一半,通道数保持不变;Expand(·)表示特征图扩展映射,采用反卷积运算实现输入特征图长宽扩展为原来的两倍,通道数保持不变;Channel(·)表示通道压缩运算,采用1×1卷积实现较多通道向较少通道的转换,特征图长宽输入输出前后都保持不变。
10.根据权利要求9所述的一种工业缺陷检测的图像分割方法,其特征在于:步骤S2中,为了增强处理工业缺陷检测目标的边界分割能力,构造监督学习损失函数 如下:损失函数第一项是柔性交并比损失,符合连续可微要求,其中 是位置 对U类工业缺陷检测目标种类数的预测得分, 是正确标注标签分布, 属于像素集合对应 像素大小的正方形;
损失函数第二项是构造的一种全景目标结构边缘自适应强化指数的目标函数,用表示,为工业缺陷检测目标模糊的边界自适应适配高权重,对于工业缺陷检测目标区域分布差异越大,适配权重值越高,从算法对工业缺陷检测目标的语义分割结果 和正确标注数据分割图 中分别裁剪出两个空间位置对应的 像素大小的正方形,其每个像素编号分别表示为像素集合 和像素集合其中 那么像素集合 和 的强化指数目标
函数定义为上式 形式;其中T表示像素适配强度,作为超参数设为T
=128;常数 ψ=0.009作为超参数设定,防止计算式中的分母数值太小归为零值病态; 和 分别表示像素集合 和 的均值和标准差, 表示像素集合和 协方差; 和 分别定义了在每个像素上两个分量,即像素集合 和像素集合 的相对强化指数,自适应适配工业缺陷检测目标模糊边界,该边界在监督学习模型训练过程中通过迭代优化得到。