1.一种基于深度学习的Mini-LED晶圆表面缺陷数据增强方法,其特征在于,包括以下步骤:
获取Mini-LED晶圆表面的每种缺陷类型的缺陷图像并构建每种缺陷类型的训练数据,获取无缺陷的背景图像并存入背景图像库;
构建基于每种缺陷类型的VMSA-UNet网络的扩散模型,所述VMSA-UNet网络包括编码层、解码层以及位于编码层和解码层之间的SPPF模块,所述编码层包括依次连接的五个第一卷积模块,所述解码层包括依次连接的四个解码单元,每个解码单元包括依次连接的多尺度特征融合模块和第二卷积模块,所述编码层中的第五个第一卷积模块与所述SPPF模块连接,所述SPPF模块与所述解码层中的第一个解码单元的多尺度特征融合模块连接,每一个多尺度特征融合模块的输入特征为所述SPPF模块的输出特征或者前一个解码单元的第二卷积模块的输出特征以及所述解码层中的前四个第一卷积模块的输出特征;所述第一卷积模块和第二卷积模块均采用基于体积注意力机制的卷积结构,其计算过程如下:其中,X表示所述基于体积注意力机制的卷积结构的输入特征,CBS(·)表示依次连接的卷积核大小为1×1的卷积操作、批归一化处理和SiLU激活函数的组合操作,Conv表示卷积核大小为1×1的卷积操作;t-Embedding(t)表示时间步嵌入操作;M1、M2和M3分别表示第一中间特征图、第二中间特征图和第三中间特征图;M4为所述基于体积注意力机制的卷积结构的输出特征,VA表示体积注意力模块对应的函数;
所述时间步嵌入操作的表达式如下:
其中,t表示第t个时间步,i表示嵌入维度的索引,d是嵌入维度,E(t,2i)表示对第t个时间步的偶数索引位置的编码结果,E(t,2i+1)表示对第t个时间步的奇数索引位置的编码结果;所述扩散模型包括加噪过程和去噪过程,在所述加噪过程中对所述每种缺陷类型的训练数据中的缺陷图像添加真实噪声,得到每种缺陷类型的缺陷图像对应的加噪图,在所述去噪过程中采用对应缺陷类型的VMSA-UNet网络对所述每种缺陷类型的缺陷图像对应的加噪图进行去噪,得到预测噪声;基于所述真实噪声和预测噪声对所述扩散模型中的每种缺陷类型的VMSA-UNet网络进行训练,得到经训练的每种缺陷类型的VMSA-UNet网络;
随机采样高斯噪声图,将所述高斯噪声图作为当前时间步的噪声图,执行以下去噪过程:将当前时间步的噪声图输入到所述经训练的每种缺陷类型的VMSA-UNet网络,得到每种缺陷类型对应的预测噪声,根据所述每种缺陷类型对应的预测噪声和当前时间步的噪声图计算出下一时间步的噪声图,将所述下一时间步的噪声图作为当前时间步的噪声图,重复以上去噪过程,直至得到每种缺陷类型的生成缺陷图像,构建生成缺陷图像库;
从所述生成缺陷图像库中随机选择生成缺陷图像,通过随机变换矩阵对随机选择的生成缺陷图像进行处理,得到变换后的随机选择的生成缺陷图像,从所述背景图像库中随机选取的一张背景图像,通过图像空间处理将变换后的随机选择的生成缺陷图像与所述背景图像进行合成,得到合成图像并确定缺陷在合成图像中的位置。
2.根据权利要求1所述的基于深度学习的Mini-LED晶圆表面缺陷数据增强方法,其特征在于,所述体积注意力模块的计算过程如下:分别对所述体积注意力模块的输入特征的三个维度分别进行平均池化,如下式所示:
其中,V表示所述体积注意力模块的输入特征,c、h和w分别表示通道数的索引、高度的索引和宽度的索引,C、H和W分别表示所述体积注意力模块的输入特征的通道数、高度和宽度,表示实数集合,Zx、Zy和Zz分别表示第一池化特征、第二池化特征和第三池化特征;
其次,对所述第一池化特征、第二池化特征和第三池化特征分别进行转置后再进行拼接,分别经过卷积核大小为1×1的卷积操作、批归一化处理和ReLU激活函数,得到第一融合特征和第二融合特征,如下式所示:其中,f1和f2分别表示第一融合特征和第二融合特征,T表示转置矩阵,[·]表示拼接操作,BN表示批归一化处理,δ表示ReLU激活函数,r1=4,r2=4;
接着,再将第一融合特征f1和第二融合特征f2进行分割操作,将第一融合特征f1分成第一子特征和第二子特征将第二融合特征f2分成第三子特征和第四子特征然后,将第一子特征、第二子特征、第三子特征和第四子特征分别经过卷积核大小为1×1的卷积操作和ReLU激活函数得到第一注意力向量、第二注意力向量、第三注意力向量和第四注意力向量,具体操作如下:其中,gx、gy和分别表示第一注意力向量、第二注意力向量、第三注意力向量和第四注意力向量;
最后,将第一注意力向量gx和第二注意力向量进行矩阵相乘,得到第一乘积结果g1,第三注意力向量gy和第四注意力向量进行矩阵相乘,得到第二乘积结果g2,将第一乘积结果g1和第二乘积结果g2进行逐元素相加后经过Simgoid激活函数得到第一权重g,然后得到的第一权重g再与所述体积注意力模块的输入特征进行逐元素相乘,得到所述体积注意力模块的输出特征,具体操作如下:其中,Y表示所述体积注意力模块的输出特征。
3.根据权利要求1所述的基于深度学习的Mini-LED晶圆表面缺陷数据增强方法,其特征在于,所述多尺度特征融合模块的输入特征表示为其中,表示所述编码层的第q个第一卷积模块的输出特征,表示所述多尺度特征融合模块的上一层结构的输出特征,Hq、Wq和Cq分别表示所述编码层的第q个第一卷积模块的输出特征的高度的最大值、宽度的最大值和通道数的最大值,Hp、Wp和Cp分别表示所述多尺度特征融合模块的上一层结构的输出特征的高度的最大值、宽度的最大值和通道数的最大值;
首先,通过上采样或下采样将所述多尺度特征融合模块的输入特征的尺寸调整为与下一层的第二卷积模块的尺寸的一致,得到第一调整特征,表示为然后,通过卷积核大小为1×1的卷积操作将所述第一调整特征的通道数调整为相同,得到第二调整特征,如下式所示:其中,所述第二调整特征表示为
通过卷积核大小为1×1的卷积操作将所述第二调整特征的通道数调整为1,得到第三调整特征,如下式所示:其中,所述第三调整特征表示为
将所述第三调整特征进行全局平均池化,得到全局池化特征,如下式所示:
其中,所述全局池化特征表示为w和h分别表示宽度的索引和高度的索引;
最后,将所述全局池化特征依次经过一次卷积核大小为1×1的卷积操作和ReLU激活函数的组合操作以及一次卷积核大小为1×1的卷积操作和Sigmoid激活函数的组合操作,得到第二权重S,并与第二调整特征X″in进行逐元素相乘,得到加权特征,然后将所述加权特征进行逐元素相加,得到所述多尺度特征融合模块的输出特征,如下式所示:其中,所述第二权重表示为所述加权特征表示为表示所述多尺度特征融合模块的输出特征。
4.根据权利要求1所述的基于深度学习的Mini-LED晶圆表面缺陷数据增强方法,其特征在于,所述扩散模型中的加噪过程如下:第u-1个时间步每种缺陷类型的缺陷图像对应的加噪图经过叠加1次高斯噪声,得到第u个时间步的每种缺陷类型的缺陷图像对应的加噪图,如下式所示:其中,Xu-1表示第u-1个时间步的每种缺陷类型的缺陷图像对应的加噪图,Xu表示第u个时间步的每种缺陷类型的缺陷图像对应的加噪图,βu为第u个时间步的噪声的权重系数,Zu表示第u次添加的符合标准正态分布的噪声;
通过上式推导出,所述每种缺陷类型的训练数据中的缺陷图像X0经过叠加t次的高斯噪声,得到第t个时间步的噪声图Xt,如下式所示:其中,αu=1-βu,表示t个αu的连乘结果,Z表示真实噪声;
所述扩散模型中的去噪过程如下:
随机采样高斯噪声图将所述高斯噪声图作为第t个噪声图输入到所述经训练的每种缺陷类型的VMSA-UNet网络,得到每种缺陷类型的对应的预测噪声然后根据和计算出第t-1个时间步的噪声图如下式所示:其中,表示t-1个αu的连乘结果,βt为第t个时间步的噪声的权重系数;
不断重复上述过程,直至得到每种缺陷类型的生成缺陷图像为止。
5.根据权利要求1所述的基于深度学习的Mini-LED晶圆表面缺陷数据增强方法,其特征在于,从所述生成缺陷图像库中随机选择生成缺陷图像,通过随机变换矩阵对随机选择的生成缺陷图像进行处理,得到变换后的随机选择的生成缺陷图像,从所述背景图像库中随机选取的一张背景图像,通过图像空间处理将变换后的随机选择的生成缺陷图像与所述背景图像进行合成,得到合成图像并确定缺陷在合成图像中的位置,具体包括:将随机选取的第c种缺陷类型的第m张生成缺陷图像作以下图像变换:
式中,表示从随机选取的第c种缺陷类型的第m张生成缺陷图像,表示变换后的第c种缺陷类型的第m张生成缺陷图像,w′和h′表示变换后的第c种缺陷类型的第m张生成缺陷图像的宽度和高度;Tk为随机变换矩阵,通过随机生成旋转参数θk、平移参数(tx,ty)、缩放参数(Sx,Sv)来构建所述随机变换矩阵,其定义如下:最后,从背景图像库中随机选取一张背景图像,并与变换后的每种缺陷类型的每张生成缺陷图像进行图像合成,得到合成图像并确定缺陷在合成图像中的位置,如下式所示:其中,n表示随机选择的缺陷类型的总数,Nc表示随机选择的第c种缺陷类型的生成缺陷图像的总数,Ib表示随机选择的所述背景图像库中的背景图像;I0表示合成图像,(x′,y′)表示缺陷图像的左上角在背景图像中的坐标,xl和yl为随机生成的位置偏置参数,缺陷在背景图像中的位置坐标为(x′,y′,w,h)。
6.一种基于深度学习的Mini-LED晶圆表面缺陷数据增强装置,其特征在于,包括:
数据获取模块,被配置为获取Mini-LED晶圆表面的每种缺陷类型的缺陷图像并构建每种缺陷类型的训练数据,获取无缺陷的背景图像并存入背景图像库;
模型构建模块,被配置为构建基于每种缺陷类型的VMSA-UNet网络的扩散模型,所述VMSA-UNet网络包括编码层、解码层以及位于编码层和解码层之间的SPPF模块,所述编码层包括依次连接的五个第一卷积模块,所述解码层包括依次连接的四个解码单元,每个解码单元包括依次连接的多尺度特征融合模块和第二卷积模块,所述编码层中的第五个第一卷积模块与所述SPPF模块连接,所述SPPF模块与所述解码层中的第一个解码单元的多尺度特征融合模块连接,每一个多尺度特征融合模块的输入特征为所述SPPF模块的输出特征或者前一个解码单元的第二卷积模块的输出特征以及所述解码层中的前四个第一卷积模块的输出特征;所述第一卷积模块和第二卷积模块均采用基于体积注意力机制的卷积结构,其计算过程如下:其中,X表示所述基于体积注意力机制的卷积结构的输入特征,CBS(·)表示依次连接的卷积核大小为1×1的卷积操作、批归一化处理和SiLU激活函数的组合操作,Conv表示卷积核大小为1×1的卷积操作;t-Embedding(t)表示时间步嵌入操作;M1、M2和M3分别表示第一中间特征图、第二中间特征图和第三中间特征图;M4为所述基于体积注意力机制的卷积结构的输出特征,VA表示体积注意力模块对应的函数;
所述时间步嵌入操作的表达式如下:
其中,t表示第t个时间步,i表示嵌入维度的索引,d是嵌入维度,E(t,2i)表示对第t个时间步的偶数索引位置的编码结果,E(t,2i+1)表示对第t个时间步的奇数索引位置的编码结果;所述扩散模型包括加噪过程和去噪过程,在所述加噪过程中对所述每种缺陷类型的训练数据中的缺陷图像添加真实噪声,得到每种缺陷类型的缺陷图像对应的加噪图,在所述去噪过程中采用对应缺陷类型的VMSA-UNet网络对所述每种缺陷类型的缺陷图像对应的加噪图进行去噪,得到预测噪声;基于所述真实噪声和预测噪声对所述扩散模型中的每种缺陷类型的VMSA-UNet网络进行训练,得到经训练的每种缺陷类型的VMSA-UNet网络;
去噪模块,被配置为随机采样高斯噪声图,将所述高斯噪声图作为当前时间步的噪声图,执行以下去噪过程:将当前时间步的噪声图输入到所述经训练的每种缺陷类型的VMSA-UNet网络,得到每种缺陷类型对应的预测噪声,根据所述每种缺陷类型对应的预测噪声和当前时间步的噪声图计算出下一时间步的噪声图,将所述下一时间步的噪声图作为当前时间步的噪声图,重复以上去噪过程,直至得到每种缺陷类型的生成缺陷图像,构建生成缺陷图像库;
合成模块,被配置为从所述生成缺陷图像库中随机选择生成缺陷图像,通过随机变换矩阵对随机选择的生成缺陷图像进行处理,得到变换后的随机选择的生成缺陷图像,从所述背景图像库中随机选取的一张背景图像,通过图像空间处理将变换后的随机选择的生成缺陷图像与所述背景图像进行合成,得到合成图像并确定缺陷在合成图像中的位置。
7.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一所述的方法。
9.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。