1.一种基于自对抗变分自编码器的异常检测方法,其特征在于,包括:构建基于自对抗变分自编码器的异常检测模型,训练异常检测模型得到训练数据的标准异常得分集,根据核密度估计方法和标准异常得分集自动计算阈值,从在线数据库获取待检测数据并进行预处理,将预处理后的待检测数据输入训练好的异常检测模型得到检测分数,将检测分数与阈值进行比较后输出检测结果;
基于自对抗变分自编码器的异常检测模型的训练过程包括:S1.从历史标准数据库中获取用于训练的正常数据;
S2.对正常数据进行预处理得到正常的输入窗口,预处理操作包括缺失值填充、数据清洗、数据标准化和窗口划分;
S3.根据正常的输入窗口训练异常检测模型,训练过程分为第一阶段和第二阶段,第一阶段和第二阶段交替进行;其中,异常检测模型包括第一变分自编码器和第二变分自编码器;
S4.第一阶段输入正常的输入窗口,两个变分自编码器学习重建正常的输入窗口;第二阶段以对抗方式训练,即将第一变分自编码器在第一阶段重建的窗口输入第二变分自编码器,第二变分自编码器对其进行重建;
S5.结合对数高斯分布的潜在空间先验假设,以完成一次第一阶段和第二阶段的训练为一次迭代,进行迭代训练直至收敛。
2.根据权利要求1所述的一种基于自对抗变分自编码器的异常检测方法,其特征在于,步骤S2中对正常数据进行预处理的过程为:M×N
S11.采用线性插值方法对正常数据x={x1,x2,…,xN}∈R 中的缺失值进行填充得到填充后的正常数据x′={x′1,x′2,…,x′N},填充过程表示为:x′i=xi.interpolate(method=′linear′);
S12.采用光谱残差SR对填充后的正常数据x′进行数据清洗得到清洗后的数据x″;
S13.通过z‑score法对清洗后的数据x″进行标准化,得到标准化数据xnorm;
S14.设置窗口大小为T,将标准化数据划分为多个大小为T的窗口,表示为M×N
其中,正常数据x={x1,x2,…,xt,…,xN}∈R 是多元时间序列,N是多元时间序列x的长度, 表示t时刻的一个M维向量, 表示t时刻第i个特征的值,interpolate()是pandas库提供的插值函数,method=′linear′表示线性插值计算,x′i表示填充后的i时刻的M维向量。
3.根据权利要求2所述的一种基于自对抗变分自编码器的异常检测方法,其特征在于,采用光谱残差SR对填充后的正常数据x′进行数据清洗,包括:S21.通过傅里叶变换计算填充后的正常数据x′的振幅A(f)和相位谱P(f),表示为:S22.对振幅取对数得到L(f)后进行均值滤波,得到滤波结果AL(f),表示为:L(f)=log(A(f));
AL(f)=hq(f)·L(f);
S23.将对数结果L(f)与滤波结果AL(f)相减得到光谱残差SR谱R(f),对光谱残差SR谱R(f)进行傅里叶反变换得到清洗后的数据xi″,表示为:R(f)=L(f)‑AL(f);
4.根据权利要求2所述的一种基于自对抗变分自编码器的异常检测方法,其特征在于,通过z‑score法对清洗后的数据x″进行标准化包括:其中,代表均值,s代表方差,n表示数据的个数。
5.根据权利要求1所述的一种基于自对抗变分自编码器的异常检测方法,其特征在于,异常检测模型第一阶段的训练的损失函数为:2
W为正常数据经过预处理后划分的窗口,其服从对数正态分布,记为lnW~N(μ,σ),W′12
为第一变分自编码器重建的窗口,W′2为第二变分自编码器重建的窗口,μ为期望,σ为方差,KL()表示Kullback‑Leibler散度,第二阶段的训练的损失函数为:
W′12为第二阶段中第二变分自编码器以W′1为输入的重建窗口;
其中,第二阶段的训练中第一变分自编码器和第二变分自编码器的损失函数 和分别表示为:异常检测模型训练过程的最终损失函数为两个阶段的损失函数的组合,其中,第一阶段的训练和第二阶段的训练的比例随着时间的变化,分别表示为:n为当前轮次的值,即epoch的值。
6.根据权利要求1所述的一种基于自对抗变分自编码器的异常检测方法,其特征在于,标准异常得分集中的异常分数定义为:Score(W)=α||W‑W′1||2+β||W‑W′12||2;
其中,W为正常数据经过预处理后划分的窗口,W′1表示第一变分自编码器重建的窗口,W′12表示将W′1输入第二变分自编码器后重建的窗口,α和β为人为设置的权重参数。
7.根据权利要求1或6所述的一种基于自对抗变分自编码器的异常检测方法,其特征在于,采用KDE方法分析标准异常得分集,得到阈值Sa的过程为:F(Sa)=1‑α,α∈[0,1];
其中,si为标准异常得分集中的第i个分数,s表示变量,h表示带宽,K()表示高斯核函数,N表示标准异常得分集的大小,p(s)为概率密度函数,F(s)为累积分布函数,α为人为设置的参数,F(Sa)为求解阈值的过程函数。
8.一种基于自对抗变分自编码器的异常检测系统,其特征在于,包括:历史标准数据库,用于储存由专家标记的正常数据;
离线训练模块,用于根据历史标准数据库的正常数据对基于自对抗变分自编码器的异常检测模型进行离线训练;
数据预处理模块,包括缺失值补全模块、数据清洗模块和数据标准化模块和窗口划分模块,其中:缺失值补全模块,用于根据线性插值方法对数据进行填充,得到填充后的完整数据;
数据清洗模块,用于根据光谱残差SR对完整数据进行数据清理,得到清洗数据;
数据标准化模块,用于通过z‑score法对清洗数据进行标准化,得到标准数据;
窗口划分模块,用于设置窗口大小,根据预设的大小将标准数据划分为多个相同大小的窗口;
自动阈值选择模块,用于通过核密度估计方法分析标准异常得分集的分布,计算得到阈值;
在线检测模块,用于结合自动阈值选择模块计算的阈值,通过异常检测模型对在线数据进行检测;
显示模块,用于显示在线检测模块得到的检测结果。
9.根据权利要求8所述的一种基于自对抗变分自编码器的异常检测系统,其特征在于,离线训练模块包括一阶段训练和二阶段训练,一阶段训练是异常检测模型中的两个变分自编码器学习重建正常的输入窗口,二阶段训练采用对抗方式,将第一变分自编码器在第一阶段重建的输入窗口输入第二变分自编码器,第二变分自编码器判断输入数据是第一阶段重建的输入窗口还是第一阶段的输入数据。