1.一种基于长尾增量学习的软件漏洞类型识别方法,其特征在于,包括以下步骤:
(1)通过分析CVE漏洞数据库和基于Git的软件项目托管平台的实际开发项目,收集漏洞相关信息,包括CWE ID、漏洞代码、漏洞描述以及提交时间,数据处理流程首先从CVE数据中提取漏洞的CWE ID、漏洞代码和漏洞描述,然后在开源Git项目中检索与漏洞关联的代码更改,并获取修改前的源代码,随后,对源代码进行预处理操作,删除注释、空行以及行首注释,最终构建形成漏洞类型预测数据集D;
(2)将漏洞类型预测数据集D按照漏洞的提交时间进行任务划分,随后,将每个任务的数据集按照8:1:1的比例划分为训练集、验证集和测试集,划分过程中采用分层采样策略;
(3)针对需要进行漏洞类型识别的当前任务,采用混合回放策略从旧任务的数据集中选出典型漏洞样本,在每次模型训练前,优先选择旧任务中的尾部数据,随后根据样本的马氏距离选出不确定性较高的漏洞样本,将混合回放选出的漏洞样本与当前任务的漏洞样本合并后,按照8:1:1的比例重新划分为训练集、验证集和测试集,在划分过程中,利用分层采样方法以确保两类数据集中漏洞类型分布的一致性;
(4)针对步骤(3)中处理后的数据集,提取源代码和漏洞描述,并设计提示模板,在该提示模板中,通过硬提示对源代码和漏洞描述两类信息进行区分;在类型识别中,采用[SOFT]标签创建软提示,同时利用[MASK]标签进行缺失信息的预测或填充,随后设计映射方法,将模型生成的自然语言输出映射到具体类别,最后,将构建的双模态信息输入预训练语言模型CodeT5,并通过提示微调进行模型和提示模板训练;
(5)在模型训练过程中,首先采用Focal Loss和Label Smooth CE Loss聚焦尾部数据,以缓解类别不平衡问题,针对新任务的学习,通过EWC正则化项限制模型参数权重,使其接近先前任务的最优参数;
结合使用Focal Loss和Label Smooth CE Loss,确保模型在训练时关注尾部数据,Focal Loss在标准CE Loss中引入了一个缩放因子,使模型关注难以分类的样本,这些样本往往是尾部样本,它通过应用聚焦参数γ和平衡因子α来实现这一点,最终损失函数被定义为:Label Smooth CE Loss会软化目标标签,通过减少对预测的过度自信以提高泛化能力,尤其是对于不具有代表性的类别,其计算方法定义如下:其中,yk=(1-∈)为真实类别,∈是平滑参数,K是类别总数,接下来使用权重w来对这两个损失函数的拟合,计算方法定义如下:
2.根据权利要求1所述的一种基于长尾增量学习的软件漏洞类型识别方法,其特征在于,所述步骤(3)中,包括如下步骤:(2-1)为了识别尾部类别,设置了一个阈值τ,占总数据集不到5%的类别,并将其归类为尾部类别,尾部类别定义如下:其中τ设置5%,以定义为尾部数据;
(2-2)选出不确定性高的样本,为了量化样本的不确定性,使用每个样本的特征向量与所有样本的特征向量均值之间的马氏距离,包括以下步骤:第1步,使用模型的特征提取层获取每个样本的特征向量xi;
第2步,计算所有样本特征的特征向量均值μ和协方差矩阵∑;
第3步,计算马氏距离dM(xi),对于每个样本的计算公式如下:
其中xi是样本i的特征向量,μ是特征向量均值,∑-1是协方差矩阵的逆;
(2-3)以平衡的比例1:1混合,组合尾部数据样本和不确定性高的样本。
3.根据权利要求1所述的一种基于长尾增量学习的软件漏洞类型识别方法,其特征在于,所述步骤(4)中,包括如下步骤:(3-1)构建提示模板,使用硬提示来区分源代码和漏洞描述,分别添加“The codesnippet:”和“The vulnerability description:”,对于类型分类,使用[SOFT]标签创建软提示,即训练时将其初始化为“Identify the vulnerability type:”,并用[MASK]标签预测或填充缺失信息;
(3-2)构建映射方法:将模型的自然语言输出映射到具体类别,根据每一个CWE-ID,映射为它对应的软件漏洞类型,并构建该漏洞类型的近似词,最后得到该方法采用的映射方法;
(3-3)将待进行漏洞类型识别的漏洞样本的双模态信息,即漏洞代码和漏洞描述,与预定义的混合提示模板P相结合,输入预训练模型CodeT5,并通过提示微调进行模型和提示模板训练,生成自然语言形式的输出结果;
(3-4)将模型生成的自然语言结果转换为对应的软件漏洞类型,并返回最终预测结果。
4.根据权利要求1所述的一种基于长尾增量学习的软件漏洞类型识别方法,其特征在于,所述步骤(5)中,包括如下步骤:(4-1)使用传统的随机梯度下降方法训练神经网络模型,训练初始任务模型,训练过程中,数据会被随机打乱,并以小批量的方式进行处理,在完成初始任务的训练后,保存训练好的模型参数;
(4-2)通过EWC正则化项限制模型参数权重,使其接近先前任务的最优参数,计算Fisher信息矩阵,以量化每个参数对初始任务的重要性,假设Ft表示当前任务t的Fisher矩阵,表示累积的Fisher矩阵,每项任务完成后,按如下方式进行更新:其中β是衰减因子,其尝试为近期任务分配更高的权重,同时保留早期任务的知识,使用累积的Fisher矩阵,EWC的正则化项定义为:其中,λ是惩罚系数,是累积Fisher矩阵的第i个元素,θi是当前参数,是从先前任务中学习到的参数值,在训练新任务时,使用带有正则化项的损失函数来确保模型参数不会与初始任务的参数有太大偏差;
(4-3)计算模型在验证集上的F1指标变化,当F1值连续10轮未超越当前最佳性能时,停止训练,返回最佳的漏洞类型识别模型和混合提示模板。