1.一种基于GPT2-PCA的网络日志异常检测方法,其特征在于,包括以下步骤:步骤S1、采集日志消息;将日志消息进行预处理得到日志消息集合;
步骤S2、根据日志消息集合将日志消息进行结构化表示得到结构化日志集合;
步骤S3、根据结构化日志集合将日志消息进行序列化得到序列化日志集合;
步骤S4、通过序列化日志集合预训练GPT-2模型,使用训练好的GPT-2模型对日志消息进行特征提取,得到日志嵌入向量集合;
步骤S5、根据日志嵌入向量集合训练基于PCA的分类模型,使用训练好的基于PCA的分类模型进行异常检测。
2.根据权利要求1所述基于GPT2-PCA的网络日志异常检测方法,其特征在于:步骤S4中通过序列化日志集合预训练GPT-2模型,使用训练好的GPT-2模型对日志消息进行特征提取的方法是,使用大量无标签日志对GPT-2模型进行训练,然后使用训练好的GPT-2模型对待检测日志序列进行特征提取;
预训练GPT-2模型的目标函数定义如下:
其中,表示目标损失函数,N是日志序列的数量,T是每个序列的长度,表示在给定序列的情况下,GPT-2在第t+1个位置预测的日志键的概率,表示第t+1个位置为日志键ki,表示给定序列i的1至t个日志键;
经过预训练后,GPT-2模型能够基于给定的日志序列片段生成一个日志序列表示预测的第T个位置的日志键为ki,T表示序列的长度;
将待检测的序列化日志S,输入预训练后的GPT-2模型,获取GPT-2模型输出的最后一层隐藏层,然后提取每个序列Si的最后一个token的向量vi,作为语义向量,形成日志嵌入向量集合V,V={v1,v2,…,vN},N表示日志序列的数量。
3.根据权利要求1所述基于GPT2-PCA的网络日志异常检测方法,其特征在于:GPT-2模型的结构如下:其中,表示使用Transformer解码器对进行解码,表示从Transformer解码器中导出的隐藏层表示,表示对隐藏状态经过权重矩阵W变换后生成的分数应用归一化函数softmax,从而得到一个概率分布,表示在给定序列的情况下,GPT-2在第t+1个位置预测的日志键的概率,是语言模型的头部参数,表示实数域,d表示向量的长度,表示包含所有可能日志键的集合。
4.根据权利要求1所述基于GPT2-PCA的网络日志异常检测方法,其特征在于:步骤S5中使用训练好的基于PCA的分类模型进行异常检测的方法是,构建一个正常样本空间Sn和一个异常样本空间Sa,然后将每个日志序列向量vi通过公式投影到正常空间Sn上,其中,P=[e1,e2,…,ek],e1,e2,…ek表示具有前k大特征值的特征向量,k为日志序列主成分数量,为vi在正常空间Sn上的投影;同样的,将vi通过公式投影到异常空间Sa上,其中I为标准单位矩阵;使用平方预测误差来确定传入的日志序列vj在异常空间中是否是离群点;vj的SPE值通过公式来计算,通过与给定的阈值θ进行比较,如果SPE值大于θ,则vj被预测为异常日志序列。
5.根据权利要求1所述基于GPT2-PCA的网络日志异常检测方法,其特征在于:步骤S1中将日志消息进行预处理的方法是,将原始日志内容按照日志格式进行解析,提取出半结构化日志消息,形成日志消息集合L,L={l1,l2,…,ln},n表示日志消息集合的大小,ln表示第n条半结构化日志消息。
6.根据权利要求1所述基于GPT2-PCA的网络日志异常检测方法,其特征在于:所述步骤S2中将日志消息进行结构化表示的具体方法是,包括以下步骤:
步骤S2.1,通过超参数r对日志消息进行一定比例的下采样,形成采样日志Lsample;
步骤S2.2,对采样日志Lsample使用Drain3日志解析器进行日志解析,提取日志模板集合Ksample,并保存未匹配的日志集合Lunmatch;
步骤S2.3,再次对未匹配的日志集合Lunmatch进行模板解析得到新提取到的模板,并将新提取到的模板加入Ksample形成新的日志模板集合K,K={k1,k2,…,km},m表示日志模板集合的大小,km表示第m个日志模板;
步骤S2.4,使用日志模板集合K对全量日志集合L进行模板匹配,形成结构化日志集合D,D={d1,d2,…,dn},n表示结构化日志集合的大小,dn表示第n条结构化日志。
7.根据权利要求1所述基于GPT2-PCA的网络日志异常检测方法,其特征在于:所述步骤S3中将日志消息进行序列化的具体方法是,使用滑动时间窗口方法,通过窗口大小w和步长s将结构化日志序列分组为事件序列;长度为n的结构化日志集合D,D={d1,d2,…,dn},则第i个窗口可表示为:si={dis+1,dis+2,…,d(is+w)}
其中,i表示窗口索引,i从0开始;
最后形成序列化日志集合S,S={s1,s2,…,sN},
8.根据权利要求1所述基于GPT2-PCA的网络日志异常检测方法,其特征在于:所述日志消息包括操作系统日志、应用日志和其他日志,所述操作系统日志指由操作系统本身生成的日志;应用日志指在操作系统上运行的应用或其他相关程序产生的日志;其他日志指不包含异常信息,但包含其他重要信息的日志。
9.一种基于GPT2-PCA的网络日志异常检测系统,其特征在于,用于实现权利要求1-6任一所述的基于GPT2-PCA的网络日志异常检测方法,包括采集单元、预处理单元、结构化日志单元、序列化日志单元、GPT-2模型单元、基于PCA的分类模型单元、输出单元,其中:采集单元用于采集日志消息;
所述预处理单元用于将日志消息进行预处理得到日志消息集合;
所述结构化日志单元用于根据日志消息集合将日志消息进行结构化表示得到结构化日志集合;
所述序列化日志单元用于根据结构化日志集合将日志消息进行序列化得到序列化日志集合;
所述GPT-2模型单元用于通过序列化日志集合预训练GPT-2模型,使用训练好的GPT-2模型对日志消息进行特征提取,得到日志嵌入向量集合;
所述基于PCA的分类模型单元用于根据日志嵌入向量集合训练基于PCA的分类模型,使用训练好的基于PCA的分类模型进行异常检测;
所述输出单元用于输出异常检测。
10.一种计算机系统,其特征在于,包括存储器和处理器,所述存储器用于存储计算机程序/指令;所述处理器用于执行所述计算机程序/指令以实现权利要求1-8任一所述的基于GPT2-PCA的网络日志异常检测方法。