1.一种基于异构日志的异常检测网络生成方法,其特征在于,包括:获取系统的原始日志消息序列并转换为日志模板序列;
根据日志模板序列的自然序号和获取到的原始日志消息序列,生成日志模式事件,将日志模式事件转换为模式向量;
采用预设的多头合成自注意力机制对模式向量进行计算和合成,得到多头合成注意力矩阵,包括:采用全局自注意力机制对日志模板序列令牌进行计算,得到日志模板序列令牌的分数矩阵;
采用稀疏化自注意力机制对原始日志消息令牌进行稀疏化计算,得到原始日志消息令牌的分数矩阵;
合成日志模板序列令牌的分数矩阵和原始日志消息令牌的的分数矩阵,得到多头合成注意力矩阵;包括:基于日志模板序列令牌的分数矩阵,将日志模板序列令牌的分数矩阵的第一行和第一列作为多头合成注意力矩阵的第一行和第一列;将原始日志消息的分数矩阵作为多头合成注意力矩阵的剩余部分;合并得到多头合成注意力矩阵;
其中,所述预设的多头合成自注意力机制包括全局自注意力机制和稀疏化自注意力机制,通过下式表示:Attentionoutput=MultiHead(Q,K,V) (1)多头注意力通过h个不同线性变换对Q、K、V进行映射,将不同的Attention结果拼接起来,通过下式表示:MultiHead(Q,K,V)=Concat(head1,head2,...,headh) (2)式(1)和(2)中,Q表示的查询矩阵,K表示键值矩阵,V表示值矩阵,h表示h个不同线性变换,Concat表示连接;
式(3)中,headi表示i头的自注意力矩阵,Qi表示i头的查询矩阵,Ki表示i头的键值矩阵,T表示转置运算, 表示i头的向量维度,Vi表示i头的值矩阵;
基于多头合成注意力矩阵得到多头合成自注意力深度网络,经过随机梯度下降法训练后,得到面向异构日志的异常检测网络。
2.根据权利要求1所述的基于异构日志的异常检测网络生成方法,其特征在于,所述得到日志模板序列令牌的分数矩阵,包括:计算单词分数矩阵:
T
Score=QiKi (4)
式(4)中,Qi表示i头的查询矩阵,Ki表示i头的键值矩阵,T表示转置运算;Score表示单词分数矩阵;
全局自注意力机制仅计算日志模板序列令牌和其他令牌的注意力关系、以及其他令牌与日志模板序列令牌的注意力关系,不考虑 与模板向量无关的其余部分,则日志模板序列令牌的分数矩阵,通过下式表示:Score
式(5)中,W0 表示日志
模板序列令牌的分数矩阵,i和j表示日志模板序列令牌的分数矩阵的第i行和第j列。
3.根据权利要求2所述的基于异构日志的异常检测网络生成方法,其特征在于,所述得到原始日志消息令牌的分数矩阵,包括:在日志消息长度为m下,计算原始日志消息第i个令牌与所有令牌的距离偏差绝对值Deviation,通过下式进行计算:Deviationj=|i‑j| (6)
式(6)中,Deviationj表示原始日志消息第i个令牌与第j个令牌的距离偏差绝对值;
将m个令牌和其与第j个令牌的距离偏差的二元组输入到最小堆,最小堆按其与第j个令牌的距离偏差排序,通过下式表示:MinHeapDeviation={
0 1 2 3
从最小堆中依次获取2 ,2 ,2 ,2 ....数量的n簇令牌向量,分别取n簇令牌向量的最大值;
依次计算第i个令牌与每个簇令牌向量的最大值之间的注意力,得到原始日志消息第i个令牌的分数向量,依次计算原始日志消息的每个令牌的分数向量,分数向量组合为原始日志消息令牌的分数矩阵。
4.一种异常检测方法,其特征在于,包括:
获取在线的日志消息序列并转换为日志模板序列;
根据日志模板序列的自然序号和获取到的在线日志消息序列,生成日志模式事件,将日志模式事件转换为模式向量;
将模式向量输入面向异构日志的异常检测网络,若输出标志值为0,则日志消息无异常,若输出标志值为1,则日志消息存在异常;
其中,所述面向异构日志的异常检测网络采用权利要求1~3任一项所述方法生成的。
5.一种基于异构日志的异常检测网络生成系统,其特征在于,包括:第一获取模块:用于获取系统的历史原始日志消息序列并转换为日志模板序列;
第一转换模块:用于根据日志模板序列的自然序号和获取到的历史原始日志消息序列,生成日志模式事件,将日志模式事件转换为模式向量;
合成模块:用于采用预设的多头合成自注意力机制对模式向量进行计算和合成,得到多头合成注意力矩阵;包括:采用全局自注意力机制对日志模板序列令牌进行计算,得到日志模板序列令牌的分数矩阵;
采用稀疏化自注意力机制对原始日志消息令牌进行稀疏化计算,得到原始日志消息令牌的分数矩阵;
合成日志模板序列令牌的分数矩阵和原始日志消息令牌的的分数矩阵,得到多头合成注意力矩阵;包括:基于日志模板序列令牌的分数矩阵,将日志模板序列令牌的分数矩阵的第一行和第一列作为多头合成注意力矩阵的第一行和第一列;将原始日志消息的分数矩阵作为多头合成注意力矩阵的剩余部分;合并得到多头合成注意力矩阵;
其中,所述预设的多头合成自注意力机制包括全局自注意力机制和稀疏化自注意力机制,通过下式表示:Attentionoutput=MultiHead(Q,K,V) (I)多头注意力通过h个不同线性变换对Q、K、V进行映射,将不同的Attention结果拼接起来,通过下式表示:MultiHead(Q,K,V)=Concat(head1,head2,...,headh) (2)式(1)和(2)中,Q表示的查询矩阵,K表示键值矩阵,V表示值矩阵,h表示h个不同线性变换,Concat表示连接;
式(3)中,headi表示i头的自注意力矩阵,Qi表示i头的查询矩阵,Ki表示i头的键值矩阵,T表示转置运算, 表示i头的向量维度,Vi表示i头的值矩阵;
网络输出模块:用于基于多头合成注意力矩阵得到多头合成自注意力深度网络,经过随机梯度下降法训练后,得到面向异构日志的异常检测网络。
6.一种异常检测系统,其特征在于,包括:
第二获取模块:用于获取在线的日志消息序列并转换为日志模板序列;
第二转换模块:用于根据日志模板序列的自然序号和获取到的在线日志消息序列,生成日志模式事件,将日志模式事件转换为模式向量;
结果输出模块:用于将模式向量输入面向异构日志的异常检测网络,若输出标志值为
0,则日志消息无异常,若输出标志值为1,则日志消息存在异常;其中,所述面向异构日志的异常检测网络采用权利要求1~3任一项所述方法生成的。