1.一种集成电路金属封装深度学习缺陷检测方法，其特征在于，包括以下步骤：

S1：设计带Transformer的多尺度生成对抗网络GAN，将其命名为MST‑GAN，用于在多个尺度上捕获样本的内在模式，生成多尺度无缺陷模板，并设计多尺度损失函数以确保网络收敛；

S2：利用输入样本和步骤S1得到的多尺度无缺陷模板按元素作差然后取绝对值得到的多尺度差分图像，并设计多尺度权重掩膜来抑制多尺度差分图像中的重建误差；

S3：设计多尺度自适应阈值，对S2得到的多尺度权重掩膜处理后的多尺度差分图像进行处理得到阈值图像，并设计基于图像块的多尺度缺陷评估方案MIPDE对阈值图像中的潜在缺陷进行检测并得到缺陷定位。

2.根据权利要求1所述的集成电路金属封装深度学习缺陷检测方法，其特征在于，所述步骤S1的具体过程是：S11：对采集的原始IC金属封装表面图像进行处理，采用二值化、Canny和数字形态学获取感兴趣区域，该感兴趣区域占了IC金属封装表面的主要区域，对感兴趣区域进行分割并分成合格样本和不合格样本以制作训练集和测试集，对图像像素进行归一化处理，使得图像像素值在[‑1,1]之间，并初始化模型参数；

S12：构建带Transformer的多尺度生成对抗网络GAN，该网络由生成器G、判别器D和多尺度编码器组成；生成器依次由多尺度CNN编码器MSCE、跨尺度特征融合模块CSFF、Swin Transformer解码器STD和多尺度模板生成模块MSTG组成；判别器和多尺度编码器都由多尺度CNN编码器MSCE和跨尺度特征融合模块CSFF组成；

多尺度CNN编码器MSCE提取的每个尺度的多级特征图都被送入跨尺度特征融合模块CSFF；

跨尺度特征融合模块CSFF将不同尺度下的高级语义信息与低级空间信息相结合，即融合多尺度CNN编码器MSCE所提取的多个尺度的多级特征图；

Swin Transformer解码器STD使用跨尺度特征融合模块CSFF模块获得的融合高级特征图来重建模板特征；

多尺度模板生成模块MSTG重建多尺度无缺陷模板；

S13：构建多尺度损失函数以确保网络收敛。

3.根据权利要求2所述的集成电路金属封装深度学习缺陷检测方法，其特征在于，所述步骤S12中，多尺度CNN编码器MSCE执行多尺度特征提取：从小尺度、中尺度和大尺度输入中分别提取了三个具有相同结构的多尺度特征图，每个尺度的特征图表征相应输入的低级、中级和高级特征，设大尺度、中尺度和小尺度输入分别为Ix，x＝l，m，s，对应尺度的特征图为：其中nx，x＝l，m，s，的值分别为3、2和1， 表示输入Ix从第一个

ResNetBottleneck传递到第nx个块后，第nx个块的输出，mx，y，x＝l，m，s；y＝hi，mi，lo，表示x尺度的y级的特征图，提取的每个尺度的多级特征图都被送入跨尺度特征融合模块CSFF进行特征融合。

4.根据权利要求3所述的集成电路金属封装深度学习缺陷检测方法，其特征在于，所述步骤S12中，跨尺度特征融合模块CSFF融合多尺度CNN编码器MSCE所提取的多个尺度的多级特征图：首先根据层级将多尺度特征图重新排列，将同一层级不同尺度的特征图堆叠在一起，这些连接起来的特征图通过一个1×1卷积层进行维度变换后，通过自下而上的路径构建一个特征金字塔；特征金字塔由跨尺度融合的高级、中级和低级特征图组成；

设融合的高级、中级和低级特征图分别为m′hi，m′mi以及m′lo，1×1卷积为convy(y＝lo，mi，hi)，则跨尺度特征融合为：m′lo＝convlo(conc(∑xmx，lo)) (2)

m′mi＝convmi(conc(∑xmx，mi))+sub2(m′lo) (3)m′hi＝convhi(conc(∑xmx，hi))+sub2(m′mi) (4)其中x＝l，m，s，sub2表示二倍下采样，conc是一个堆叠操作，不同的convy对应的输入通道是不同的，但输出通道都是256；特征金字塔用于MST‑GAN在训练阶段的收敛，将特征金字塔中融合的高级特征图作为Swin Transformer解码器STD的输入。

5.根据权利要求4所述的集成电路金属封装深度学习缺陷检测方法，其特征在于，所述步骤S12中，Swin Transformer解码器STD使用跨尺度特征融合模块CSFF获得的融合高级特征图来重建模板特征；Swin Transformer解码器STD 由四个子模块组成，其中前三个子模块包括两个连续的SwinTransformer Block，以及一个Patch Expanding，最后一个子模块只有两个连续的SwinTransformer Block，Patch Expanding用来进行上采样，为了抑制反卷积中由零填充引起的重构模板中的干扰像素，在Patch Expanding中用Pixel Shuffle代替了反卷积，在层归一化之后，接上一个1×1的卷积层，当Patch Expanding的输入维度为H×W×C时，其输出维度为2H×2W×C/2；将融合后的维度为8×8×256的高级特征图输入Swin Transformer解码器STD后，得到维度为64×64×32的模板特征，输入到多尺度模板生成模块MSTG，用于重建多尺度无缺陷模板。

6.根据权利要求5所述的集成电路金属封装深度学习缺陷检测方法，其特征在于，所述步骤S12中，多尺度模板生成模块MSTG由三个路径组成，三个路径分别对应的由两个Patch Expanding和一个1×1卷积、一个Patch Expanding和一个1×1卷积以及只有一个1×1卷积组成，用于重建多尺度无缺陷模板。

7.根据权利要求6所述的集成电路金属封装深度学习缺陷检测方法，其特征在于，所述步骤S13的具体过程是：构建多尺度损失函数以确保网络收敛，多尺度生成对抗网络GAN的生成器G和判别器D中由多尺度CNN编码器MSCE和跨尺度特征融合模块CSFF组成的子网络分别记为GE1和D‑1，多尺度编码器记为E2：设X表示多尺度生成对抗网络GAN的多尺度输入，则多尺度生成对抗网络GAN的生成器和判别器的损失函数可以定义为：Lg＝ωcon*Lcon+ωenc*Lenc+ωadv*Ladv (5)

公式(5)定义为：

Lcon＝∑x||Xx‑G(X)x||1，x＝l，m，s (7)

Lenc＝∑y||GE1(X)y‑E2(G(X))y||1，y＝hi，mi，lo (8)Ladv＝∑y||D‑1(X)y‑D‑1(G(X))y||1，y＝hi，mi，lo (9)其中G(x)、GE1(x)、E2(G(x))、D(x)和D‑1(x)表示MST‑GAN生成器G、子网络GE1和E2，判别器D和判别器中的子网络D‑1对应的输出，下标x和y分别表示图像的比例和模板或特征图的级别，||·||1和||·||2分别表示1‑范数和2‑范数，因为采用的输入为256×256，l，m，s的值分别为256，128，64，而hi，mi，lo则分别是32，16，8。

8.根据权利要求7所述的集成电路金属封装深度学习缺陷检测方法，其特征在于，所述步骤S2的具体过程是：首先，通过训练集中的多个合格样本对多尺度差值图进行平均来实现多尺度平均特征图，多尺度平均特征图经过倒置和归一化后得到的三种尺度的图分别标记为的Fl，Fm和Fs，然后，通过以下融合实现多尺度权重掩膜为：F′l＝Fl+up2(Fm)+up4(Fs) (10)

F′m＝Fm+sub2(Fl)+up2(Fs) (11)

F′s＝Fs+sub4(Fl)+sub2(Fm) (12)

其中F′x表示x尺度下的权重掩膜，x＝l，m，s，up和sub的下标分别表示上采样和下采样的倍数。

9.根据权利要求8所述的集成电路金属封装深度学习缺陷检测方法，其特征在于，所述步骤S3的具体过程是：

1)、在每种尺度上对不同的加权多尺度差异图像应用不同的阈值，定义为：

Tx，n＝αx·μx，n+σx，n，x＝l，m，s (13)

采用了这样一种多尺度策略，即对于大尺度的图像，我们采用较小的阈值，对于较小的图像，采用较大的阈值，使该方法可以更好地结合各种尺度的特点进行缺陷检测，阈值化后的多尺度图像将用于第2)步进行进一步缺陷评估；

2)、基于滑动窗口策略，MIPDE可以评估阈值化后的多尺度差值图中突出的潜在缺陷，对于大小为H×W的检查样本，通过滑动窗口策略，得到Row×Col个图像块，滑动窗口大小为w×w，滑动步长ss，其中对于不同尺度的阈值化后的多尺度差值图，其窗口大小和滑动步长的设定是不同；

设 是第n个检测样本在x尺度上的第(r，c)个图像块中第(i，j)个像素的第k通道值，该图像块的缺陷概率 可以定义为

其中K表示图像块的通道数，在此等于3；然后，图像块的二值缺陷概率图定义为：其中 式中ε为灵敏度因子，如果 不小于τ，则相应的图像块被评

估为可能有缺陷；否则，它可能是无缺陷的；定义缺陷评估分数来评估(18)中的第n个样本，该分数是通过三个尺度的所有图像块的二值缺陷概率图计算：其中 表示向下取整,评估方法为：

其中th设置为训练集中所有合格样本的最大缺陷评估分数；如果被检样品的缺陷评价分数不小于th，则该样品判定为不合格，反之亦然。

10.根据权利要求9所述的集成电路金属封装深度学习缺陷检测方法，其特征在于，所述ε为0.0001。