1.一种基于LDA主题特征的日志异常检测方法,其特征在于:所述日志异常检测方法包括如下步骤:
步骤1、模型训练:在所述模型训练阶段,首先利用日志解析器将系统日志解析为日志模板集合和日志三元组集合,日志模板集合用以训练LDA模型,得到日志模板主题分类模型LDA‑CM;然后,利用LDA‑CM模型将日志三元组转换为进程日志模板主题,进而利用滑动窗口机制构造训练样本,最后将训练样本输入LSTM模型,训练生成日志异常检测模型LSTM‑ADM;
步骤2、异常检测:在所述异常检测阶段,首先将待检测的进程日志转换为对应的模板主题序列,然后输入步骤1中的LSTM‑ADM模型,实现针对进程日志的异常检测。
2.根据权利要求1所述一种基于LDA主题特征的日志异常检测方法,其特征在于:所述步骤1模型训练具体包括如下步骤:步骤1‑1:获取系统日志数据L={log1,log2,…,logn},对应进程集合设为P={p1,p2,…,pf},L由P中进程产生,使用日志解析器解析对L中的日志进行处理,生成日志模板集合K={k1,k2,…,km}以及与L对应的日志三元组集合D={d1,d2,…,dn},其中di为logi对应的日志三元组(k,pid,ts),k为日志模板,pid为进程标识符,ts为日志产生的时间戳;
步骤1‑2:对日志模板集合K进行预处理,将预处理数据输入预设主题集合为T={t1,t2,…,tr}的LDA模型,训练生成基于LDA的日志模板主题分类模型LDA‑CM;
步骤1‑3:初始化日志模板主题映射字典TD,使用步骤1‑2.生成的LDA‑CM模型计算日志模板集合K中每一个日志模板ki的主题概率分布向量Θi,Θi的维度等于T中主题的数量,Θi[j]表示ki属于主题tj的概率,然后,获取Θi中的最大概率值对应的主题tx,将映射{ki→tx}添加到TD中;
步骤1‑4:根据应进程集合P中的进程,对日志三元组集合D进行处理,并利用日志模板主题映射字典TD建立应进程集合P中各进程对应的日志模板主题序列,构成的序列集合记为S={S1,S2,…,Sf};
步骤1‑5:利用滑动窗口机制,对步骤1‑4构成的序列集合S中的每个进程pi的日志模板主题序列Si进行处理,生成训练样本集合TP;
步骤1‑6:利用步骤1‑5中生成的训练样本集合TP中的训练样本训练LSTM模型,生成基于LSTM的进程日志异常检测模型LSTM‑ADM。
3.根据权利要求2所述一种基于LDA主题特征的日志异常检测方法,其特征在于:所述步骤1‑4中对日志三元组集合D进行处理,具体步骤为:步骤1‑4‑1:根据应进程集合P中各进程的ID,即日志三元组中的pid,将D划分为若干子集,并根据时间戳ts对各子集中的日志三元组进行排序,从而为每个进程pi构造对应的日志三元组序列Di,然后,获取Di的每条日志三元组中的日志模板,得到进程pi对应的日志模板序列步骤1‑4‑2:对于应进程集合P中每个进程pi的日志模板序列 中的各日志模板ki,j,利用日志模板主题映射字典TD中的日志模板主题映射关系,确定ki,j的主题tx,进而为进程pi建立日志模板主题序列Si=
4.根据权利要求2所述一种基于LDA主题特征的日志异常检测方法,其特征在于:所述步骤1‑5中生成训练样本集合TP具体步骤为:步骤1‑5‑1:初始化滑动窗口长度为h,滑动步长为1,训练样本集合TP为空;
步骤1‑5‑2:对序列集合S中的每个进程pi的日志模板主题序列Si=
5.根据权利要求1所述一种基于LDA主题特征的日志异常检测方法,其特征在于:所述步骤2的异常检测具体包括如下步骤:步骤2‑1:对于待检测进程p的日志序列为Lp=
步骤2‑2:利用日志模板主题映射字典TD,将日志模板序列Kp转换为日志模板主题序列Sp=
步骤2‑3:利用滑动窗口机制,对步骤2‑2中Sp=
6.根据权利要求5所述一种基于LDA主题特征的日志异常检测方法,其特征在于:所述步骤2‑2将日志模板序列Kp转换为日志模板主题序列Sp的具体步骤如下:步骤2‑2‑1:初始化Sp为空序列;
步骤2‑2‑2:依次处理Kp中的每一个日志模板kp,i,在日志模板主题映射字典TD中查询是否存在关于kp,i的主题映射{kp,i→tj},如果存在,则将tj添加到Sp中;否则,将kp,i输入LDA‑CM模型,得到将kp,i的日志模板主题概率分布向量Θp,i,获取Θp,i中的最大概率值,不妨设为Θp,i[x],则日志模板kp,i对应的主题为tx,然后将tx添加到Sp中,同时创建新日志模板主题映射{kp,i→tx},并将该映射加入TD,最终获得与Kp对应的日志模板主题序列Sp=
7.根据权利要求5所述一种基于LDA主题特征的日志异常检测方法,其特征在于:步骤
2‑3中通过对进程p的日志模板主题序列Sp=
步骤2‑3‑2:判断Sp中的日志模板主题数量与滑动窗口长度的大小关系,如果日志模板主题数量不大于滑动窗口长度,即v≤h,则对进程p的异常检测结束;否则转下一步继续执行;
步骤2‑3‑3:通过移动滑动窗口,构造与Sp对应的日志模板主题窗口集合Wp={wp,1,wp,2,…,wp,y},其中wp,1=
步骤2‑3‑4:对于DP中的每一个检测对(wp,i,tp,h+i),将日志模板主题窗口wp,i输入日志异常检测模型LSTM‑ADM,得到窗口wp,i的下一条日志的预测日志模板主题概率分布向量Vp,i,Vp,i的维度等于T中主题的数量,Vp,i[j]表示窗口wp,i的下一条日志的预测日志模板的主题属于主题tj的概率,然后,获取Vp,i中最大的g个概率值对应的主题,构成预测日志模板主题集合CSp,i,如果 则进程p异常,检测结束;
步骤2‑3‑5:当DP中的所有检测对均处理完毕,均未检测到异常,则进程p无异常,检测结束。