1.一种基于Prompt Tuning和迁移性的日志异常检测方法,其特征在于,包括以下步骤:进行日志解析,得到日志模板序列;以及
基于所述日志模板序列进行迁移性日志异常检测;
其中,所述进行日志解析的步骤包括:
S11:采用少样本Prompt Tuning策略,利用预训练语言模型,将输入的原始日志消息中的令牌分类预测为预设的虚拟标签标记或令牌的原始标记,其中,参数位置的令牌被预测为所述虚拟标签标记,关键词位置的令牌被预测为所述原始标记;
S12:构建目标序列,将参数位置的令牌替换为虚拟标签标记并保留关键词位置的原始令牌,通过最大化目标序列概率训练语言模型;
S13:基于令牌分类预测结果,将日志消息分词并预测各令牌标签,若为虚拟标签标记则归入参数列表,否则保留为模板内容,最终合并连续参数生成日志模板和参数列表;
其中,所述进行迁移性日志异常检测的步骤包括:
S21:在源域日志数据集上,对第一编码器进行预训练,所述第一编码器包含用于在自注意力计算中引入基于日志参数信息的偏置项的Log-Attention模块,得到预训练参数;
S22:在目标域日志数据集上,冻结所述预训练参数,在所述第一编码器的预设位置串行插入轻量级适配器模块,构成第二编码器;
S23:使用目标域的日志模板序列作为输入,通过所述第二编码器进行处理,其中冻结的预训练参数保持固定不变,仅通过反向传播算法对轻量级适配器模块的参数进行梯度更新;
S24:适配器模块与冻结的预训练参数的协同作用,将目标域的新日志序列输入所述第二编码器进行特征编码,最终输出对应的异常概率预测结果。
2.根据权利要求1所述的方法,其特征在于,在步骤S11之前,所述方法还包括:采用自适应随机采样算法,从训练日志消息中选择少量标记样本用于训练所述预训练语言模型,所述自适应随机采样算法通过在每轮迭代中计算候选样本与已选样本集的最小距离,并优先选择最小距离最大的候选样本加入已选样本集,直至达到预设样本数量。
3.根据权利要求2所述的方法,其特征在于,步骤S11中,所述Prompt Tuning策略采用形式为“[X] [S] is a [MASK]”的提示模板进行令牌分类预测,其中[X]填充输入的原始日志消息,[S]填充待识别的令牌,[MASK]为由所述预训练语言模型预测的标签槽位。
4.根据权利要求1所述的方法,其特征在于,步骤S21中,在将所述日志模板序列输入至所述第一编码器之前,所述方法还包括:采用预训练的Sentence-BERT模型作为特征提取器,将所述日志模板序列中的每个会话转换为嵌入向量序列。
5.根据权利要求1或4所述的方法,其特征在于,步骤S21中,所述Log-Attention模块通过计算来执行自注意力操作,其中Q、K、V分别为查询矩阵、键矩阵和值矩阵,d为输入特征维度,h是多头注意力的头数,是从参数编码中得到的额外偏置项,P为根据从对应的参数列表提取的所述日志参数信息生成的偏置项矩阵。
6.根据权利要求1所述的方法,其特征在于,步骤S22中,所述轻量级适配器模块被串行插入到所述第一编码器中的Log-Attention层与前馈网络层之间,并且所述适配器模块包含一个下投影线性层和一个上投影线性层,所述下投影线性层将输入向量的隐藏层维度d映射到小维度m,所述上投影线性层将小维度m映射回维度d。
7.一种基于Prompt Tuning和迁移性的日志异常检测系统,其特征在于,所述系统包括:日志解析模块,用于进行日志解析,得到日志模板序列,包括:
日志分类预测单元,用于采用少样本Prompt Tuning策略,利用预训练语言模型,将输入的原始日志消息中的令牌分类预测为预设的虚拟标签标记或令牌的原始标记,其中,参数位置的令牌被预测为所述虚拟标签标记,关键词位置的令牌被预测为所述原始标记;
日志训练单元,用于构建目标序列,将参数位置的令牌替换为虚拟标签标记并保留关键词位置的原始令牌,通过最大化目标序列概率训练语言模型;
生成日志模板序列单元,用于基于令牌分类预测结果,将日志消息分词并预测各令牌标签,若为虚拟标签标记则归入参数列表,否则保留为模板内容,最终合并连续参数生成日志模板和参数列表;
日志异常检测模块,用于基于所述日志模板序列进行迁移性日志异常检测,包括:
编码器预训练单元,用于在源域日志数据集上,对第一编码器进行预训练,所述第一编码器包含用于在自注意力计算中引入基于日志参数信息的偏置项的Log-Attention模块,得到预训练参数;
适配器插入单元,用于在目标域日志数据集上,冻结所述预训练参数,在所述第一编码器的预设位置串行插入轻量级适配器模块,构成第二编码器;
适配器参数优化单元,用于使用目标域的日志模板序列作为输入,通过所述第二编码器进行处理,其中冻结的预训练参数保持固定不变,仅通过反向传播算法对轻量级适配器模块的参数进行梯度更新;
异常概率预测单元,用于适配器模块与冻结的预训练参数的协同作用,将目标域的新日志序列输入所述第二编码器进行特征编码,最终输出对应的异常概率预测结果。
8.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时,实现如权利要求1-6任一项所述的一种基于Prompt Tuning和迁移性的日志异常检测方法的步骤。
9.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时,实现如权利要求1-6任一项所述的一种基于Prompt Tuning和迁移性的日志异常检测方法的步骤。