1.一种基于改进的深度森林的工业控制系统异常检测方法,其特征在于,包括以下步骤:
一、获取来自待检测的工业控制系统的网络数据,对该网络数据进行预处理,以得到样本集合;
二、将步骤一得到的样本集合输入到预先训练好的异常检测模型中,以得到异常检测的结果;异常检测模型是通过以下步骤训练得到的:n×m
(1)获取网络数据,并根据网络数据构建数据集X,X∈R ,其中R表示实数集,n表示数据集中的样本总数;
Τ
其中,xi=[x1i x2i … xni] ,(i=1,2,…m)表示数据集中每个样本的第i维特征组成的特征集合;
(2)采用Z‑score归一化方法对步骤(1)得到的数据集进行归一化处理,并对归一化处n×m n×m
理后的数据集按5:1的比例划分为训练集Xtrain,Xtrain∈R 和测试集Xtest,Xtest∈R ;
(3)使用PCA方法对步骤(2)得到的训练集Xtrain进行特征提取,以得到降维后的新特征向量集合;步骤(3)具体为,首先是利用PCA方法将训练集Xtrain中的m个特征集合进行线性转换如下:其中,Y=[y1 y2 … ym]是经过转换后的新特征集合,样本协方差矩阵A等于:
其中, xi为步骤(1)中每个样本的第i维特征组
成的特征集合,表示数据集中所有样本对应的特征集合的平均值;
然后,依据λα=Yα求得新特征集合Y的特征向量集合α和特征值集合λ,
其中α=[α1,α2,…,αm],λ=[λ1,λ2,…,λm],其中λi表示第i个主成分对应的特征值;
随后,根据第i个主成分对应的特征值λi计算第i个主成分的方差贡献率pi:
其中,pi表示第i个主成分的方差贡献率;
随后,设置k=1,并根据第i个主成分对应的特征值λi、使用以下公式获取k=1时第i个主成分的累计方差贡献率然后,设置k=2,沿用上一段的计算公式,以获取k=2时第i个主成分的累计方差贡献率 并判断该值相对于k=1时第i个主成分的累计方差贡献率 时的增长率是否小于1%,如果是则将k值固定为2,否则继续设置k=3,并获取k=3时第i个主成分的累计方差贡献率 并判断该值相对于k=2时第i个主成分的累计方差贡献率 时的增长率是否小于1%,如果是则将k值固定为3,否则继续设置k=4,…以此类推;
然后,依据各主成分的方差贡献率进行由大到小排序,从排序结果中选取前k个主成分的方差贡献率对应的特征值,记这些特征值对应的下标所组成的下标集合为index={index1,index2,…,indexk},从新特征集合Y中按下标集合index选取对应下标的列,从而得到降维后所有样本的新特征向量集合,记为其中zd,(d=1,2,…,n)表示降维后的第d个样本的特征向量,其包含k个特征,即zd={fd1 fd2 … fdk},其维度为1×k;
(4)使用异常检测模型中的环形多粒度扫描结构对步骤(3)降维后的新特征向量集合中的每个特征向量进行处理,以获取该特征向量对应的特征子向量集合,所有n个特征子向量集合组成大集合H;步骤(4)具体为,首先对步骤(3)降维后的新特征向量集合中的第一个特征向量z1={f11 f12 … f1k}进行环形多粒度扫描处理,将特征f11与特征f1k连接,使得特征向量z1={f11 f12 … f1k}成为一个首尾特征相连的环形;其次,以长度为t的滑动窗口从起始特征f11开始,以一个单位从左往右滑动,每滑动一个单位,获取一个特征子向量,然后,把滑动窗口向右移动一个单位,使得起始特征为f12,再获取的特征子向量记为F2={f12,f13,…,f1(t+1)},以此类推,…,最后,把滑动窗口移动到使起始特征为f1k,获取的特征子向量记为Fk={f1k,f11,…,f1(t‑1)},所有k个特征子向量构成特征子向量集合H1={F1 F2 … Fk};
然后,首先对步骤(3)降维后的新特征向量集合中的第二个特征向量z2={f21 f22 … f2k}进行环形多粒度扫描处理,将特征f21与特征f2k连接,使得特征向量z2={f21 f22 … f2k}成为一个首尾特征相连的环形;其次,以长度为t的滑动窗口从起始特征f21开始,以一个单位从左往右滑动,每滑动一个单位,获取一个特征子向量,然后,把滑动窗口向右移动一个单位,使得起始特征为f22,再获取的特征子向量记为F2={f22,f23,…,f2(t+1)},以此类推,…,最后,把滑动窗口移动到使起始特征为Fk={f2k,f21,…,f2(t‑1)},所有k个特征子向量构成特征子向量集合H2={F1 F2 … Fk};
…以此类推;随后,对步骤(3)降维后的新特征向量集合中的第n个特征向量zn={fn1 fn2 … fnk}进行环形多粒度扫描处理,将特征fn1与特征fnk连接,使得特征向量zn={fn1 fn2 … fnk}成为一个首尾特征相连的环形;其次,以长度为t的滑动窗口从起始特征fn1开始,以一个单位从左往右滑动,每滑动一个单位,获取一个特征子向量,然后,把滑动窗口向右移动一个单位,使得起始特征为fn2,再获取的特征子向量记为F2={fn2,fn3,…,fn(t+1)},以此类推,…,最后,把滑动窗口移动到使起始特征为Fk={fnk,fn1,…,fn(t‑1)},所有k个特征子向量构成特征子向量集合Hn={F1 F2 … Fk};
最终,将所有n个样本特征向量对应的所有特征子向量集合所组成的大集合记为H={H1,H2,…,Hd},(d=1,2,…,n);
(5)将步骤(4)获取的大集合H中的每个特征子向量集合Hd,d∈{1,2,…,n}中的每个特征子向量分别输入完全随机森林分类器和半随机森林分类器中,以获得2个c维的类特征向量U={u1,u2,…,uc},每个特征子向量集合Hd,d∈{1,2,…,n}中所有k个特征子向量对应的k个2c维特征向量组成初始类特征向量bd,其维度为1×2kc,集合H中的所有特征子向量集合对应的n个初始类特征向量组成初始类特征向量集合B={b1 b2 … bn},其维度为n×
2kc,其中c表示分类类别数;
(6)将步骤(5)中生成的初始类特征向量输入多元化级联森林结构中进行迭代训练,直到多元化级联森林结构收敛为止,从而得到训练好的异常检测模型;步骤(6)具体为,首先,对多元化级联森林结构的第一层做如下处理:首先,将初始类特征向量集合B中的第一个初始类特征向量b1分别输入多元化级联森林结构的半随机森林、完全随机森林、XGBoost、GBDT、CatBoost五个决策树,以得到五个c维的类特征向量o1,o2,o3,o4,o5,将类特征向量o1,o2,o3,o4,o5与初始类特征向量b1组合生成(5c+
2kc)维类特征向量e11={o1 o2 o3 o4 o5 b1};
然后,将初始类特征向量集合B中的第二个最终类特征向量b2分别输入多元化级联森林结构的半随机森林、完全随机森林、XGBoost、GBDT、CatBoost五个决策树,以得到五个c维的类特征向量o1,o2,o3,o4,o5,将类特征向量o1,o2,o3,o4,o5与初始类特征向量b2组合生成(5c+
2kc)维特征向量e12={o1 o2 o3 o4 o5 b2},…以此类推;
最后,初始类特征向量集合B中的所有n个初始类特征向量对应的所有(5c+2kc)维类特征向量组成第一层的类特征向量集合E1={e11 e12 … e1n};
然后,对多元化级联森林结构的第二层做如下处理:
首先,将第一层生成的类特征向量集合E1={e11 e12 … e1n}中的第一个类特征向量e11分别输入多元化级联森林结构的半随机森林、完全随机森林、XGBoost、GBDT、CatBoost五个决策树,以获得五个c维的类特征向量o1,o2,o3,o4,o5,将类特征向量o1,o2,o3,o4,o5与初始类特征向量b1组合生成(5c+2kc)维特征向量e21={o1 o2 o3 o4 o5 b1};
其次,将第一层生成的类特征向量集合E1={e11 e12 … e1n}中的第二个类特征向量e12分别输入多元化级联森林结构的半随机森林、完全随机森林、XGBoost、GBDT、CatBoost五个决策树,以获得五个c维的类特征向量o1,o2,o3,o4,o5,将类特征向量o1,o2,o3,o4,o5与初始类特征向量b2组合生成(5c+2kc)维特征向量e22={o1 o2 o3 o4 o5 b2},…以此类推;
最后,初始类特征向量集合B中的所有n个初始类特征向量对应的所有(5c+2kc)维特征向量组成第二层的类特征向量集合E2={e21 e22 … e2n};
随后,多元化级联森林结构的后续层按照与上述第一层和第二层相同的方式进行处理,直至多元化级联森林结构收敛为止,模型训练完成。
2.根据权利要求1所述的基于改进的深度森林的工业控制系统异常检测方法,其特征在于,步骤(1)具体为,对获取的网络数据的数据类别进行统一数值化转换,将正常数据和异常数据的标签分别用0和1表示,然后采用Z‑score方法对数值化转换后的网络数据进行归一化处理,最后,将归一化后的网络数据中每个样本的一个特征作为一个数据维度,从而将样本转换成特征向量,所有样本对应的特征向量组成样本集合。
3.根据权利要求1或2所述的基于改进的深度森林的工业控制系统异常检测方法,其特征在于,步骤(2)具体为,使用PCA方法对步骤(1)得到的样本集合进行特征提取,以得到降维后的新特征向量集合,使用训练好的异常检测模型中的环形多粒度扫描结构对降维后的新特征向量集合中的每个特征向量进行处理,以获取该特征向量对应的特征子向量集合,所有特征子向量集合组成大集合,将大集合中的每个特征子向量集合中的每个特征子向量分别输入完全随机森林分类器和半随机森林分类器中,以获得类特征向量,集合中的所有特征子向量集合对应的多个初始类特征向量组成类特征向量集合,然后,将类特征向量输入训练好的异常检测模型中的级联森林模型,以得到最终的类特征向量,最后,将最终的类特征向量输入到最后一层的集成分类模型中,以得到多个分类结果,并获取所有分类结果的均值,如果该均值大于0.5,则说明待检测的工业控制系统出现异常,否则说明其正常。
4.一种基于改进的深度森林的工业控制系统异常检测系统,其特征在于,包括:
第一模块,用于获取来自待检测的工业控制系统的网络数据,对该网络数据进行预处理,以得到样本集合;
第二模块,用于将第一模块得到的样本集合输入到预先训练好的异常检测模型中,以得到异常检测的结果;异常检测模型是通过以下步骤训练得到的:n×m
(1)获取网络数据,并根据网络数据构建数据集X,X∈R ,其中R表示实数集,n表示数据集中的样本总数;
Τ
其中,xi=[x1i x2i … xni] ,(i=1,2,…m)表示数据集中每个样本的第i维特征组成的特征集合;
(2)采用Z‑score归一化方法对步骤(1)得到的数据集进行归一化处理,并对归一化处n×m n×m
理后的数据集按5:1的比例划分为训练集Xtrain,Xtrain∈R 和测试集Xtest,Xtest∈R ;
(3)使用PCA方法对步骤(2)得到的训练集Xtrain进行特征提取,以得到降维后的新特征向量集合;步骤(3)具体为,首先是利用PCA方法将训练集Xtrain中的m个特征集合进行线性转换如下:其中,Y=[y1 y2 … ym]是经过转换后的新特征集合,样本协方差矩阵A等于:
其中, xi为步骤(1)中每个样本的第i维特征组
成的特征集合, 表示数据集中所有样本对应的特征集合的平均值;
然后,依据λα=Yα求得新特征集合Y的特征向量集合α和特征值集合λ,
其中α=[α1,α2,…,αm],λ=[λ1,λ2,…,λm],其中λi表示第i个主成分对应的特征值;
随后,根据第i个主成分对应的特征值λi计算第i个主成分的方差贡献率pi:
其中,pi表示第i个主成分的方差贡献率;
随后,设置k=1,并根据第i个主成分对应的特征值λi、使用以下公式获取k=1时第i个主成分的累计方差贡献率然后,设置k=2,沿用上一段的计算公式,以获取k=2时第i个主成分的累计方差贡献率 并判断该值相对于k=1时第i个主成分的累计方差贡献率 时的增长率是否小于1%,如果是则将k值固定为2,否则继续设置k=3,并获取k=3时第i个主成分的累计方差贡献率 并判断该值相对于k=2时第i个主成分的累计方差贡献率 时的增长率是否小于1%,如果是则将k值固定为3,否则继续设置k=4,…以此类推;
然后,依据各主成分的方差贡献率进行由大到小排序,从排序结果中选取前k个主成分的方差贡献率对应的特征值,记这些特征值对应的下标所组成的下标集合为index={index1,index2,…,indexk},从新特征集合Y中按下标集合index选取对应下标的列,从而得到降维后所有样本的新特征向量集合,记为其中zd,(d=1,2,…,n)表示降维后的第d个样本的特征向量,其包含k个特征,即zd={fd1 fd2 … fdk},其维度为1×k;
(4)使用异常检测模型中的环形多粒度扫描结构对步骤(3)降维后的新特征向量集合中的每个特征向量进行处理,以获取该特征向量对应的特征子向量集合,所有n个特征子向量集合组成大集合H;步骤(4)具体为,首先对步骤(3)降维后的新特征向量集合中的第一个特征向量z1={f11 f12 … f1k}进行环形多粒度扫描处理,将特征f11与特征f1k连接,使得特征向量z1={f11 f12 … f1k}成为一个首尾特征相连的环形;其次,以长度为t的滑动窗口从起始特征f11开始,以一个单位从左往右滑动,每滑动一个单位,获取一个特征子向量,然后,把滑动窗口向右移动一个单位,使得起始特征为f12,再获取的特征子向量记为F2={f12,f13,…,f1(t+1)},以此类推,…,最后,把滑动窗口移动到使起始特征为f1k,获取的特征子向量记为Fk={f1k,f11,…,f1(t‑1)},所有k个特征子向量构成特征子向量集合H1={F1 F2 … Fk};
然后,首先对步骤(3)降维后的新特征向量集合中的第二个特征向量z2={f21 f22 … f2k}进行环形多粒度扫描处理,将特征f21与特征f2k连接,使得特征向量z2={f21 f22 … f2k}成为一个首尾特征相连的环形;其次,以长度为t的滑动窗口从起始特征f21开始,以一个单位从左往右滑动,每滑动一个单位,获取一个特征子向量,然后,把滑动窗口向右移动一个单位,使得起始特征为f22,再获取的特征子向量记为F2={f22,f23,…,f2(t+1)},以此类推,…,最后,把滑动窗口移动到使起始特征为Fk={f2k,f21,…,f2(t‑1)},所有k个特征子向量构成特征子向量集合H2={F1 F2 … Fk};
…以此类推;随后,对步骤(3)降维后的新特征向量集合中的第n个特征向量zn={fn1 fn2 … fnk}进行环形多粒度扫描处理,将特征fn1与特征fnk连接,使得特征向量zn={fn1 fn2 … fnk}成为一个首尾特征相连的环形;其次,以长度为t的滑动窗口从起始特征fn1开始,以一个单位从左往右滑动,每滑动一个单位,获取一个特征子向量,然后,把滑动窗口向右移动一个单位,使得起始特征为fn2,再获取的特征子向量记为F2={fn2,fn3,…,fn(t+1)},以此类推,…,最后,把滑动窗口移动到使起始特征为Fk={fnk,fn1,…,fn(t‑1)},所有k个特征子向量构成特征子向量集合Hn={F1 F2 … Fk};
最终,将所有n个样本特征向量对应的所有特征子向量集合所组成的大集合记为H={H1,H2,…,Hd},(d=1,2,…,n);
(5)将步骤(4)获取的大集合H中的每个特征子向量集合Hd,d∈{1,2,…,n}中的每个特征子向量分别输入完全随机森林分类器和半随机森林分类器中,以获得2个c维的类特征向量U={u1,u2,…,uc},每个特征子向量集合Hd,d∈{1,2,…,n}中所有k个特征子向量对应的k个2c维特征向量组成初始类特征向量bd,其维度为1×2kc,集合H中的所有特征子向量集合对应的n个初始类特征向量组成初始类特征向量集合B={b1 b2 … bn},其维度为n×
2kc,其中c表示分类类别数;
(6)将步骤(5)中生成的初始类特征向量输入多元化级联森林结构中进行迭代训练,直到多元化级联森林结构收敛为止,从而得到训练好的异常检测模型;步骤(6)具体为,首先,对多元化级联森林结构的第一层做如下处理:首先,将初始类特征向量集合B中的第一个初始类特征向量b1分别输入多元化级联森林结构的半随机森林、完全随机森林、XGBoost、GBDT、CatBoost五个决策树,以得到五个c维的类特征向量o1,o2,o3,o4,o5,将类特征向量o1,o2,o3,o4,o5与初始类特征向量b1组合生成(5c+
2kc)维类特征向量e11={o1 o2 o3 o4 o5 b1};
然后,将初始类特征向量集合B中的第二个最终类特征向量b2分别输入多元化级联森林结构的半随机森林、完全随机森林、XGBoost、GBDT、CatBoost五个决策树,以得到五个c维的类特征向量o1,o2,o3,o4,o5,将类特征向量o1,o2,o3,o4,o5与初始类特征向量b2组合生成(5c+
2kc)维特征向量e12={o1 o2 o3 o4 o5 b2},…以此类推;
最后,初始类特征向量集合B中的所有n个初始类特征向量对应的所有(5c+2kc)维类特征向量组成第一层的类特征向量集合E1={e11 e12 … e1n};
然后,对多元化级联森林结构的第二层做如下处理:
首先,将第一层生成的类特征向量集合E1={e11 e12 … e1n}中的第一个类特征向量e11分别输入多元化级联森林结构的半随机森林、完全随机森林、XGBoost、GBDT、CatBoost五个决策树,以获得五个c维的类特征向量o1,o2,o3,o4,o5,将类特征向量o1,o2,o3,o4,o5与初始类特征向量b1组合生成(5c+2kc)维特征向量e21={o1 o2 o3 o4 o5 b1};
其次,将第一层生成的类特征向量集合E1={e11 e12 … e1n}中的第二个类特征向量e12分别输入多元化级联森林结构的半随机森林、完全随机森林、XGBoost、GBDT、CatBoost五个决策树,以获得五个c维的类特征向量o1,o2,o3,o4,o5,将类特征向量o1,o2,o3,o4,o5与初始类特征向量b2组合生成(5c+2kc)维特征向量e22={o1 o2 o3 o4 o5 b2},…以此类推;
最后,初始类特征向量集合B中的所有n个初始类特征向量对应的所有(5c+2kc)维特征向量组成第二层的类特征向量集合E2={e21 e22 … e2n};
随后,多元化级联森林结构的后续层按照与上述第一层和第二层相同的方式进行处理,直至多元化级联森林结构收敛为止,模型训练完成。