1.一种基于局部密度信息的软件缺陷数据自适应过采样方法,其特征在于,该方法具体包括以下步骤:步骤1、对软件缺陷数据集中的原始数据进行预处理,对原始数据归一化和降维;
步骤2、利用步骤1处理后的数据,对VAE模型进行训练;
步骤3、自适应分组采样,具体操作如下:
步骤3-1:对有缺陷的类别实例分组;
设有缺陷的类别为少数类实例,无缺陷的类别为多数类实例;根据数据集中的少数类实例的局部密度分布情况提出了一个基于少数类的局部密度信息分组方法MGLDI;
根据少数类实例的局部密度信息,对步骤1处理后的训练集中的少数类实例集合分成四个组:安全组、边界组、离群组和危险组;MGLDI方法分为两步,第一步用于确定属于危险组和边界组的少数类实例,第二步用于确定属于安全组和离群组的少数类实例;第一步中参考了DBSCAN密度聚类算法中的密度扩张思想,并重新定义了DBSCAN密度聚类算法中的三个概念:定义核心对象为邻域内的多数类实例超过邻域密度阈值的多数类对象;定义边界对象为能和核心对象密度可达,但是邻域内的多数类实例低于邻域密度阈值的多数类对象;定义噪声对象为除了核心对象和边界对象外的其他多数类实例;
第一步中,首先将训练集划分成多数类实例集合和少数类实例集合,每个少数类实例记录两个计数标记:核心标记和边界标记,两种标记的初始值均为零;随后,每次迭代随机选择一个未被访问过的多数类实例,统计该实例邻域范围内的其他实例信息;如果该实例为核心对象,将其邻域范围内的少数类实例的核心标记数增加1,同时,将其邻域范围内边界对象邻域内的少数类实例的边界标记数增加1;然后将其邻域范围内的其他核心对象加入队列,用于下一次迭代访问;如果该实例为噪声对象,则忽略;当所有多数类实例均被访问过时,算法停止;最后,统计所有被标记过的少数类实例,如果实例的核心标记数超过指定阈值,则将实例加入危险组;否则将其加入边界组;
第二步中,首先排除第一步中已标记过少数类实例,对训练集其他剩余的少数类实例使用DBSCAN算法进行密度聚类;聚类结束后,将能够聚成簇的少数类实例加入安全组;对于未能够聚成簇的少数类实例,将其加入离群组;
步骤3-2:分组过采样,针对不同分组下的少数类实例采用合适的过采样方法来提高合成样本的质量,具体操作如下:步骤3-2-1:为不同分组制定针对性的自适应过采样策略;
对于安全组的实例,使用SMOTE-Out算法作为作为安全区的采样策略,扩大合成实例的分布范围,减少创建无意义实例的概率,在一定程度上缓解边缘分布化的现象;
对于边界组的实例,采用SMOTE算法配以一个较小的K值,同时根据局部密度信息为根样本和辅助样本分别设置一个安全系数;样本周围多数类数量越多,安全系数越低;让新合成的实例更加接近安全系数高的样本,从而降低新生成的实例处于边界重叠区域的风险;
针对离群区的实例,使用VAE对其进行重构;
对于处于危险组的少数类实例,使用ROS过采样方法直接复制原始样本作为合成样本,防止通过VAE方法或线性插值方法在原实例周围合成出新的噪声点;
步骤3-2-2:每次从步骤1处理后的训练集中随机选择一个少数类实例;若该实例属于安全组,使用SMOTE-Out算法对该实例合成新实例;若该实例属于边界组,使用SL-SMOTE算法,设置k近邻参数为3,对该实例合成新实例;若该实例属于离群组,将该实例输入训练好的VAE模型,使用VAE对该实例重构出新实例;若该实例属于危险组,使用ROS算法对该实例合成新实例;最后将合成的新实例加入训练集;
步骤3-3:重复步骤3-2-2,直到训练集中两类实例数量相等,训练集两类数据数量达到平衡。
2.根据权利要求1所述的一种基于局部密度信息的软件缺陷数据自适应过采样方法,其特征在于:
所述的对软件缺陷数据集中的原始数据进行预处理,对原始数据归一化和降维;具体为:
步骤1-1:将原始数据按比例划分为训练集和测试集;使用Min-Max归一化方法对训练集进行线性变换,将特征值映射到[0,1]之间,处理完成后删除重复冗余的实例;Min-Max归一化方法公式(1):其中x表示原始特征值;x
步骤1-2:假设步骤1-1处理后的训练集表示为D,其中有缺陷的类别是少数类,表示为D+,无缺陷的类别是多数类,表示为D-;首先对D-进行Agglomerative-Clustering层次聚类;聚簇数量设为D中多数类实例数量除以少数类实例数量并取整后的结果;初始时,将D-中每个样本都视为一个聚簇,然后开始重复迭代;每一次迭代过程中,合并指定距离最小的两个聚簇,直到聚簇数量满足条件;两个聚簇间距离的计算公式为两个聚簇中样本对之间距离的平均值;随后,从每个簇中选择簇中心样本与原始少数类集合进行合并,得到一个平衡数据集D′;簇中心样本定义为每个簇中到簇中其他实例平均距离最小的样本;最后利用Relief算法在D′上计算特征权重,将特征权重降序排列,根据排序结果保留前k个特征;
假设有聚簇G和聚簇H,n
3.根据权利要求1所述的一种基于局部密度信息的软件缺陷数据自适应过采样方法,其特征在于:所述的对VAE模型进行训练;具体操作如下:将步骤1处理后的训练集中的有缺陷的类别实例集合作为VAE模型的输入数据向量;在训练过程中,通过反向传播的机制,最小化VAE的损失函数来更新结点的权重;训练好的VAE模型保存有有缺陷的类别样本的分布信息,根据后续输入的有缺陷的类别样本重构出与原始样本相似却不相同的新样本。