1.一种基于预训练模型的无监督日志异常检测方法,其特征在于,包括以下步骤:S1、日志收集:收集来自不同系统产生的日志数据集,日志数据集包括源系统日志集和目标系统日志集,其中所述源系统日志集已经包含标签;
S2、日志预处理:将所述日志数据集先后进行日志解析、日志向量化以及日志序列化处理;
S3、构建预训练模型:调用LSTM与全连接层模型,将所述有标签源系统日志向量序列作为所述LSTM与全连接层模型的输入数据,进行模型训练,将训练好的模型作为所述预训练模型;
S4、混合模型投票伪标签:通过所述LSTM有效提取出所述无标签目标系统日志向量序列的深度特征向量表示;随后构建一个基于层次聚类HDBSCAN的分类器辅助原有预训练模型的全连接层,投票预测筛选出置信度高的日志向量序列作为带伪标签目标系统日志集;
S5、微调预训练模型:利用所述带伪标签目标系统日志集,重新输入到所述预训练模型微调LSTM模型的参数;
S6、在线异常检测:将目标系统日志向量序列输入到微调后的预训练模型中,通过全连接层输出正常日志消息序列以及异常日志消息序列,完成异常检测。
2.根据权利要求1所述的基于预训练模型的无监督日志异常检测方法,其特征在于,在所述步骤S2中,所述日志解析、日志向量化以及日志序列化处理的操作具体为:S201、日志解析处理:将所述日志数据集中半结构化的原始日志消息转换为结构化的日志模板形式;
S202、日志向量化处理:随后将每条原始日志映射到日志模板中,通过日志向量化手段将日志模板转换成日志模板向量;
S203、日志序列化处理:最后通过滑动窗口将所述源系统日志集以及所述目标系统日志集中的日志数据分别转化为有标签源系统日志向量序列以及无标签目标系统日志向量序列。
3.根据权利要求2所述的基于预训练模型的无监督日志异常检测方法,其特征在于,在所述步骤S202中,所述日志模板向量转换的具体步骤为:使用向量化方法将日志模板中的单词转换为向量形式表示,随后通过词向量求和平均的方法,得到日志模板向量;
所述向量化方法包括:WORD2VEC、LSA、STR2VEC和GLOVE算法;其中所述GLOVE是一种生成词向量方法,具体操作为:利用全局统计特征与局部上下文特征,有效捕捉词义相近的词,使其单词的词向量相似度尽可能接近单词间词义相似度。
4.根据权利要求3所述的基于预训练模型的无监督日志异常检测方法,其特征在于,所述GLOVE模型的代价函数具体为:其中vi、vj分别表示单词I的词向量与单词J的词向量;bi、bj分别是两种不同大小的偏置量;Xi,j是单词I与单词J在共现矩阵中出现的次数;f是权重函数。
5.根据权利要求4所述的基于预训练模型的无监督日志异常检测方法,其特征在于,所述权重函数表达公式具体为:其中,为防止中x过大导致词共现频率过载,引入超参数xmax进行约束;将所述超参数xmax设为100。
6.根据权利要求1所述的基于预训练模型的无监督日志异常检测方法,其特征在于,在所述步骤S4中,所述混合模型投票伪标签的步骤具体为:S401、将无标签目标系统日志向量序列输入所述预训练模型,利用所述预训练模型的LSTM得到日志深度特征向量,通过已经训练好的全连接层得到预训练模型标签La和概率Pa;
S402、同时将所述日志深度特征向量进行基于层级聚类HDBSCAN处理产生无监督模型标签Lb和概率Pb;
S403、通过上述预训练模型标签和无监督模型标签及其概率值的比较投票预测筛选出带伪标签目标系统日志集。
7.根据权利要求6所述的基于预训练模型的无监督日志异常检测方法,其特征在于,所述投票预测筛选的具体规则为:若所述HDBSCAN与所述全连接层预测相同时,则认定该日志向量序列可信,将其加入所述带伪标签目标系统日志集中;
若所述HDBSCAN与所述全连接层预测相左时,为所述预训练模型的分类器与所述HDBSCAN分别设置一个高阈值THa与THb,通过判断预测概率值是否高于所述高阈值:若预测概率值高于所述高阈值,则将该日志向量序列加入所述带伪标签目标系统日志集中。
8.根据权利要求7所述的基于预训练模型的无监督日志异常检测方法,其特征在于,所述高阈值THa与THb的预设标准高于所述预训练模型以及所述HDBSCAN原始设置的阈值标准。
9.根据权利要求7所述的基于预训练模型的无监督日志异常检测方法,其特征在于,所述投票表达公式具体为:La==Lb||Pa>THa||Pb>THb。
10.根据权利要求7所述的基于预训练模型的无监督日志异常检测方法,其特征在于,所述HDBSCAN用以使用最小生成树构建点与点之间的层次数模型;根据离群点的距离计算出一个离群点分数,该分数介于0‑1之间,分数越高,该点成为异常值的可能性就越大。