1.一种基于孪生编码扩散模型及流模型的图像异常检测方法,其特征在于,步骤如下:S1:获取图像样本并做预处理得到正常训练样本与验证集样本;
S2:将正常训练样本加入固定尺度的噪声后,得到加噪图像和已知噪声,将原始正常图像和加噪图像送入孪生编码扩散模型中得到预测噪声,并定义噪声预测损失与流判别损失;
S3:构建第一流模型,对预测噪声和已知噪声进行特征提取,得到潜在特征和已知特征,使用第一流模型估计潜在特征的概率分布,并使用已知特征对第一流模型进行正则化,与孪生编码扩散模型进行联合交替训练;构建量化模块,量化模块获得与输入图像匹配的量化特征,基于量化特征得到量化残差特征并构建第二流模型;使用第二流模型估计量化残差特征的概率分布,对第一流模型、第二流模型与孪生编码扩散模型进行训练;
S4:训练完成后,将潜在特征的概率分布与量化残差特征的概率分布采用验证集进行动态调整,得到最优动态权重参数,整合为最终的异常分数;
S5:使用训练好的孪生编码扩散模型、第一流模型和第二流模型对待检测图像进行异常检测。
2.根据权利要求1所述的图像异常检测方法,其特征在于,步骤S5中,将待检测图像在扩散过程中加入固定尺度的噪声后,得到加噪图像和已知噪声,将待检测图像和加噪图像送入孪生编码扩散模型中得到预测噪声,对预测噪声和已知噪声分别进行特征提取,分别得到潜在特征和已知特征,通过第一流模型得到潜在特征的概率分布;基于量化模块得到待检测图像的量化残差特征,通过第二流模型得到量化残差特征的概率分布;通过最优动态权重参数整合潜在特征的概率分布和量化残差特征的概率分布得到异常分数,将异常分数与人为设定的异常检测阈值相比,得到二值掩膜图,根据二值掩膜图判断待检测图像是否异常。
3.根据权利要求1所述的图像异常检测方法,其特征在于,所述孪生编码扩散模型包括三个部分,第一个部分是孪生编码器,第二个部分是空间特征融合模块,第三个部分是中间层与解码器;孪生编码器由两个结构相同的编码器组成,并行输入原始正常图像与加噪图像,孪生编码器内部进行特征交互,将加噪图像的第一层特征添加到原始正常图像的第一层特征中,将原始正常图像最后六层特征经过空间特征融合模块并与对应加噪图像的特征进行相加,跳跃连接到对应解码器中,中间层作为连接孪生编码器和解码器的桥梁,用于进一步提取特征信息;最后经过解码器得到预测噪声。
4.根据权利要求3所述的图像异常检测方法,其特征在于,所述空间特征融合模块,由3×3卷积层、实例归一化层和SiLU激活层构成。
5.根据权利要求3所述的图像异常检测方法,其特征在于,噪声预测损失采用L2损失。
6.根据权利要求3所述的图像异常检测方法,其特征在于,孪生编码扩散模型的总损失为流判别损失和噪声预测损失之和,流判别损失定义为第一流模型中所有耦合层判别损失的算数平均和。
7.根据权利要求1所述的图像异常检测方法,其特征在于,构建量化模块的过程如下:首先用在ImageNet数据集上预训练的特征提取器,使用如下公式对原始正常图像进行局部特征提取,得到每张原始正常图像的局部特征,构成局部特征库:;
其中是第d张原始正常图像的特征,是第d张原始正常图像,是预训练的特征提取器;
将特征向量以如下公式展平以构建图像的原始补丁特征:
;
其中表示第d个原始正常图像的特征中第e个特征向量,e为原始图像特征的特征向量序号,C表示通道,H是高度,W是宽度,表示C维向量,flatten为向量展平操作;
将所有原始正常图像的原始补丁特征聚集起来构成一个特征集合,对集合使用K-means聚类算法进行词典学习,得到m个聚类中心:;
其中,为聚类中心的集合,为第v个聚类中心特征,为聚类中心的序号,m为聚类中心的数量;
将聚类中心作为码本,即视觉词典;对输入图像使用预训练的特征提取器提取特征,将该特征划分为S×S的块级子向量:;
其中,S2为特征划分的块数,为划分的特征块,u为特征块的序号;
对块级子向量展平得到补丁特征,然后以量化的方式编码其块级特征,即计算补丁特征中每个点到聚类中心的距离,将特征中的每个点分配给其最近的聚类,得到基于码本的量化特征,作为最终的块特征:;
其中,为量化后的块特征,为m维向量,为块特征第g个的特征向量,g为块特征的特征向量序号, quantify为量化操作;
将所有的子块做相同处理得到子块特征,由子块特征组成图像量化特征,将量化特征与图像特征进行残差得到量化残差特征,利用第二流模型估计量化残差特征的概率分布。