1.一种基于元学习的少样本中文网络安全事件检测方法,其特征在于通过动态维度变换和元学习知识蒸馏技术,在少样本或零样本情况下,实现对复杂中文触发词和新型事件类型的高效检测与泛化,包括以下步骤:步骤S1、输入文本样本句:和样本提示词prompt,其中,表示包含n个字符的输入序列ci和触发词N表示N种事件类型,K表示K个标记样本,通常情况下K会被设置为{5,10},对于中的输入序列ci和触发词以及提示词prompt,使用预训练模型RoBERTa作为文本编码器获得词元嵌入、位置嵌入结果同时为了进一步丰富句子的语义表达能力和捕获更细粒度的语言特征,我们利用Stanford Core NLP来获取句子的词性特征级嵌入最后,我们获取RoBERTa的编码器最后一层隐藏层的第i个token表示hi=Dropout([z1,z2,…,zn]);
步骤S2、构建元学习训练框架,φS作为基学习器,θ为初始元学习器,利用元训练优化参数θ,具体来说,在每一次训练步骤中,给定任务和学习率λ,在内循环过程中更新参数公式中,λ是内部学习率,为任务的支持集,使用Adma优化器对模型进行训练,表示计算出的元梯度,表示训练中的损失函数;
步骤S3、基于步骤S1种得到的最后一层隐藏层表示hi,执行触发词加权方法生成候选触发词集合Strigger=[S1,S2,…,Sn],以及它们的边界集合Sspan=[(s1,e1),(s2,e2)…(sn,en)],(si,ei)表示的是第i个候选触发词所在句子中的起始和终止位置;
步骤S4、基于步骤S3中的候选触发词集合Strigger=[S1,S2,…,Sn],以及每个元素Si=(start,end),计算复杂触发词几何特征,中心位置与宽度ci和wi;
步骤S5、基于步骤S4得到的几何嵌入特征,计算候选触发词之间的交互关系,得到交互关系增强的触发词跨度表示span,为了更好地估计预测的这些触发词的重要性,同样使用候选触发词加权策略,计算每一个候选词的注意力权重,更多考虑来自其他跨度的影响:其中,αij候选触发词Si和触发词Sj之间的注意力权重,利用跨度表示的加权和可以得到交互关系增强的触发词跨度表示:其中,Si是候选触发词的表示,包含了触发词的具体特征;
步骤S6、基于步骤S5得到的交互关系增强的触发词跨度表示span,计算事件类别的分类概率和事件类别损失步骤S7、基于步骤S1的数据预处理阶段后,根据类别标签信息构建正样本对和负样本对;对于任务从所有类别中随机选择一类具有相同标签{Xi|i∈N}的事件作为正样本;针对每个正样本类别,我们相应地生成一定数量的负样本集合{Xj|j∈N-1};并计算有监督对比损失步骤S8、为解决元学习方法中的灾难性遗忘问题,计算多级知识蒸馏损失,包括特征蒸馏损失和预测蒸馏损失优化元学习基学习器φS。
2.根据权利要求1所述的基于元学习的少样本中文网络安全事件检测方法,其特征在于,在步骤S2中,构造元学习训练框架,通过从多个网络安全事件检测任务中学习通用特征,利用支持集和查询集的训练方式,实现模型在少样本或零样本条件下快速适应新任务,该框架包括元损失函数的设计和任务级的参数优化,确保模型能够在处理新事件类型时保持良好的泛化能力。
3.根据权利要求1所述的基于元学习的少样本中文网络安全事件检测方法,执行触发词加权方法生成候选触发词集合,所述步骤S3的详细步骤为:步骤S3.1、通过全连接层计算得到每个词归类为触发词的概率pi,此外,方法还结合了其上下文信息,通过RoBERTa模型的上下文注意力机制,使用触发词概率pi和注意力得分scoreattention计算编码器的最后一层hi中的触发词权重αi:αi=softmax(pi·scoreattention(hi))
步骤S3.2、选择权重αi排名前n位的词作为可能的触发词,这些排序后的高权重词的索引标记为集合I={i1,i2,…,in},为了进一步扩展这些触发词的范围,我们应用了滑动窗口机制,窗口宽度设定为3,生成一个候选触发词集合Strigger=[S1,S2,…,Sn]:并且记录形成它们的边界集合Sspan=[(s1,e1),(s2,e2)…(sn,en)],(si,ei)表示的是第i个候选触发词所在句子中的起始和终止位置。
4.根据权利要求1所述的基于元学习的少样本中文网络安全事件检测方法,其特征在于,计算复合触发词几何特征,即不同触发词边界之间相对位置偏移和尺度大小变化的几何关系,所述步骤S4的详细步骤为:步骤S4.1、在所有候选触发词之间执行动态维度变换,生成两个集几何关联矩阵:
给定一组在触发词识别任务中生成的触发词集合Strigger=[S1,S2,…,Sn],每个元素Si=(start,end),每一个触发词的宽度为wi=end-strart,以及触发词的中心位置ci:步骤S4.2、对得到的两个关联矩阵即宽度信息和中心位置信息结合起来,得到触发词的几何位置嵌入信息,得到宽度widthij和中心位置centerij后,这两个信息将会被构成该元素的维度变换矩阵DMij,通过下面的拼接操作生成:DMij=widthij⊕centerij
这里,⊕表示为拼接操作,它将宽度信息和中心位置信息结合起来,接下来,我们将DMij嵌入到一个高维空间中,以便用于后续的处理,这一嵌入过程使用正弦和余弦函数完成,对于嵌入向量的每一个维度d,操作如下:其中d表示最终嵌入向量的维度,通过这种方式,我们能够将尺度变换信息DMij编码至一个高维嵌入向量中,这个嵌入向量同时考虑到了元素的宽度与中心位置信息,通过正弦和余弦的周期性,能够有效地捕捉到位置相关的特征,最后,通过非线性的GELU函数生成这些触发词的嵌入特征:其中,W是用于线性变换的权重矩阵,b是用于线性变换的偏置向量。
5.根据权利要求1所述的基于元学习的少样本中文网络安全事件检测方法,其特征在于,在步骤S5中,基于几何嵌入特征,计算候选触发词之间的交互关系。
6.根据权利要求1所述的基于元学习的少样本中文网络安全事件检测方法,计算事件分类损失所述步骤S6的详细步骤为:步骤S6.1、通过采用软提示技术,将传统的分类问题转化为掩码语言模型(MLM)任务,设定一个包含
步骤S6.2、将预测得到的候选触发词概率分布映射到具体的事件类型,与常规的预定义转译器不同,该方法基于MLM的预测结果e以及触发的跨度表示span,构建了一个可学习的转译器,计算事件类别预测的过程定义如下:基于我们定义事件类别分类损失为
其中,px,i∈{0,1}表示的是x的真实标签是否为o,表示分类器计算得到的事件类别预测结果。
7.根据权利要求1所述的基于元学习的少样本中文网络安全事件检测方法,计算有监督对比损失所述步骤S7的详细步骤为:步骤S7.1、对比方法中,我们首先利用两层MLP对样本特征进行降维处理得到zi,以增强模型对特征的表征能力:其中,表示样本Xi的最后一层隐藏层状态,接下来Norm()是一个归一化操作,得到最终的特征表示zi;
步骤S7.2、将每个正样本的特征表示记为{z1,z2,…,zN},同理,我们计算得到负样本的特征为了度量两个输入间相似度,我们设计了一个距离函数S()作为,该函数通过余弦相似度计算样本对表示之间的距离,这里τ为温度超参数,用于调整相似度的敏感度,有监督对比损失函数可以定义为:式子中温度超参数τ在InfoNCEloss中也起着重要的作用,InfoNCEloss能够自动发现硬负样本,并且τ可以调节对硬负的关注程度,τ值越小,对硬负样本分离的关注越大。
8.根据权利要求1所述的基于元学习的少样本中文网络安全事件检测方法,其特征在于对于任务利用前一个基学习器的知识指导当前基学习器的训练,所述步骤S8的详细步骤为:步骤S8.1、在每一次训练步骤中,给定任务和学习率λ,在内循环过程中更新参数φS:
公式中,λ是内部学习率,为任务的支持集,使用Adma优化器对模型进行训练,当i=1时,由和组成,当i≠1时,额外包含即多级知识蒸馏损失,下面将详细介绍这个损失;
步骤S8.2、计算特征蒸馏,这一步中,期望当前基学习器的编码器能够提取与先前基学习器相似的特征,使其能够学习到先前基学习器中的有用信息,对于样本XS,令和分别表示和提取的XS特征向量,其次,为了强制在特征提取时不偏向新的事件类型,并与先前保持一致性,采用计算两个特征向量之间余弦距离的方法,特征蒸馏损失函数定义如下:其中,|XS|表示用于特征蒸馏的样本数量,通过计算两个基学习器之间特征向量的点积即余弦相似度,如果点积越接近1,意味着两个特征向量越相似,因此作为衡量两个特征差异度的指标,通过最小化差异促进特征表示的一致性;
步骤S8.3、这一步中,为了使得当前基学习器的MLP层在先前的数据集上的预测与的MLP层具有相似的概率分布,为此,引入KL散度作为度量两个概率分布异同的工具,通过这种设计,在学习新知识的同时,能够最大程度地保留已经掌握的知识,从而避免常见的灾难性遗忘问题,具体来说,定义一个损失函数,用以度量当前基学习器的预测概率分布与先前基学习器的预测概率分布的差异,设计的预测损失函数如下:在上述公式中,N是数据集中样本的总数,是第i个样本,和分别表示和对于样本的预测概率分布,目标是调整当前基学习器,以使损失最小,这样,当前基学习器的预测在统计上将趋于先前基学习器的预测,实现了知识的有效转移;
步骤S8.3、使用L1损失测量估计的深度与实际深度之间的绝对距离来监督深度感知迭代阶段的深度估计:其中,k和nk分别表示阶段数和每个阶段的迭代次数,表示L1损失;
步骤S8.4、整个多级知识蒸馏损失由上述两个损失组成:
其中α和β是调整系数,最终的损失函数为事件类别分类损失、有监督对比损失和多级知识蒸馏损失的加权和,记为:进而优化模型实现事件检测:
在元学习器θ的参数更新过程中,考虑了内循环学习器φS的梯度,这里θ是元学习器的参数,μ是元学习的学习率,是损失函数,DS是支持集,DQ是查询集。