1.一种基于神经网络架构搜索的工业缺陷分割方法,其特征在于,包括:S1:对像素级标注的工业产品表面缺陷数据集进行预处理;
S2:通过跨尺寸权重共享策略使权重初始化的卷积神经网络、Transformer、多层感知机在不同尺寸下互相共享权重;构建搜索空间,将权重共享处理后的卷积神经网络、Transformer、多层感知机放入搜索空间;所述搜索空间用于同时搜索三种网络;
所述跨尺寸权重共享策略包括:
对于卷积神经网络,在每个阶段的每个模型大小中使除最大卷积核外剩余的卷积核均继承最大卷积核的权重;第一继承关系表示为:;
其中,表示卷积神经网络第i层中卷积核S的权重;表示卷积神经网络第i层中最大卷积核L的权重;(p,q)表示继承过程的起始位置;表示卷积核S的尺寸;表示最大卷积核的尺寸;
对于Transformer以及多层感知机,在每个阶段的每个模型大小中使除最大块外剩余的块均继承最大块的权重;第二继承关系表示为:;
其中,表示Transformer或多层感知机第i层中块的权重;表示Transformer或多层感知机第i层中最大块的权重;表示块的嵌入维度;
S3:基于搜索空间中三种网络的所有组合构建超网络,并训练超网络;
S4:对训练好的所述超网络进行进化搜索,得到最优子网络;
S5:基于预处理的工业产品表面缺陷数据集训练所述最优子网络,基于训练好的最优子网络构建缺陷分割模型;将待检测图像输入至所述缺陷分割模型输出像素级分割结果。
2.根据权利要求1所述的基于神经网络架构搜索的工业缺陷分割方法,其特征在于,S1包括:S1.1:将所述工业产品表面缺陷数据集划分为训练集、验证集和测试集;
S1.2:对训练集、验证集和测试集均依次进行张量转换、归一化,分别得到预处理的训练集、预处理的验证集、预处理的测试集。
3.根据权利要求1所述的基于神经网络架构搜索的工业缺陷分割方法,其特征在于,在所述搜索空间中,卷积神经网络的计算过程表示为:;
;
其中,表示第一输出特征图在(i,j)处的值;表示(a,b)处的卷积核,,k表示卷积核的大小;表示Shift函数;表示在(a,b)处的卷积核权重;表示输入特征图在(i,j)处的值经过(a,b)处的卷积核得到的特征;表示输入特征图在(i,j)处的值;表示水平位移;表示垂直位移;表示在输入特征图中(i,j)经过和两步位移后的特征值;
Transformer的计算过程表示为:
;
;
;
其中,表示第二输出特征图在(i,j)处的值;表示拼接操作;表示第一线性投影参数;表示输入特征图在(i,j)处的值经过第一个头得到的特征;表示输入特征图在(i,j)处的值经过第H个头得到的特征;表示输入特征图在(i,j)处的值经过第l个头得到的特征;表示自注意力机制;表示第二线性投影参数;表示第三线性投影参数;表示第四线性投影参数;Q表示查询;K表示键;V表示值;表示softmax函数;T表示转置;表示键的特征维度;
多层感知机的计算过程表示为:
;
;
其中,表示第三输出特征图在(i,j)处的值;表示多层感知机;表示通过多层感知机重新校准不同分支;表示将第三输出特征图在(i,j)处的值中每个元素向下移动一个位置;表示将第三输出特征图在(i,j)处的值中每个元素向下移动两个位置;表示将第三输出特征图在(i,j)处的值中每个元素向下移动三个位置;表示输入特征图;表示经过多层感知机校准的输入特征图。
4.根据权利要求1所述的基于神经网络架构搜索的工业缺陷分割方法,其特征在于,在所述搜索空间中包括四个阶段,每个阶段分别对三种网络进行采样,且各阶段中三种网络的深度、通道数、前馈神经网络比率、模型大小均不相同。
5.根据权利要求2所述的基于神经网络架构搜索的工业缺陷分割方法,其特征在于,S3中,将搜索空间中三种网络的每一种组合分别作为所述超网络中的一个子网;所述训练超网络包括:步骤1:采用AdamW作为优化器,初始第一学习率设置为0.0004,第一学习率采用余弦衰减策略,对所述预处理的训练集中的图像进行数据增强操作,训练周期设置为2000个epoch;所述数据增强操作包括随机水平翻转、随机调整大小、随机旋转;
步骤2:随机采样所述子网,且每次训练仅更新采样的子网的权重;
步骤3:对于子网中的卷积神经网络仅训练最大的卷积核,对于子网中的Transformer以及多层感知机均仅训练最大块;
步骤4:在训练过程中,采用所述预处理的验证集对采样的子网的性能进行评估。
6.根据权利要求2所述的基于神经网络架构搜索的工业缺陷分割方法,其特征在于,S4中,所述对训练好的所述超网络进行进化搜索包括:步骤1:获取训练好的超网络,训练好的超网络包括多个子网;所述搜索空间包括多个子网的参数组合;
步骤2:随机初始化一个种群,其中每个个体代表搜索空间中的一个子网的参数组合;
步骤3:每轮迭代中选择平均交并比值前k个子网作为父代;
当满足预设的交叉概率时,对这些父代进行交叉操作生成新的子代;
当满足预设的变异概率,对这些父代的子代进行变异操作生成新的子代;
步骤4:生成的子代将加入到种群中;
步骤5:重复步骤3-4,直到达到预定的迭代次数,在种群中选择平均交并比值最大的子网的参数组合作为最优解;
步骤6:根据搜索出的所述最优解从所述超网络中提取符合参数要求的子网作为所述最优子网络。
7.根据权利要求6所述的基于神经网络架构搜索的工业缺陷分割方法,其特征在于,所述基于预处理的工业产品表面缺陷数据集训练所述最优子网络包括:基于所述预处理的训练集,采用Adam作为优化器,初始第二学习率设置为0.0001,并采用多学习率调度器,训练周期设置为500个epoch;
训练后基于所述预处理的测试集进行测试。
8.根据权利要求7所述的基于神经网络架构搜索的工业缺陷分割方法,其特征在于,S5中,所述基于训练好的最优子网络构建缺陷分割模型包括:步骤1:将训练好的最优子网络作为缺陷分割模型的编码器;
步骤2:设计一个多级特征聚合模块作为缺陷分割模型的解码器;
所述多级特征聚合模块使用多种特征提取操作细化编码器提取的多级特征;细化过程为包括个节点和条边的有向无环图,其中每个节点代表一个特征图,每条有向边代表一种候选操作;候选操作的类型包括1×1卷积、3×3卷积、5×5卷积、3×3扩张卷积、3×3深度可分离卷积;在细化后,采用金字塔池化模块,所述金字塔池化模块用于将细化后的多级特征进行融合并输出。
9.根据权利要求8所述的基于神经网络架构搜索的工业缺陷分割方法,其特征在于,所述缺陷分割模型包括四个阶段,所述缺陷分割模型中的参数包括:各阶段的深度、各阶段中每层的前馈神经网络膨胀比率、各阶段中每层的特征提取的头的数量、各阶段中每层所采用的网络类型、各阶段的输入通道数、各阶段的多级特征聚合模块中候选操作的类型、金字塔池化模块中池化层的尺度。