1.一种数据异常值检测方法,其特征在于,包括:步骤1,利用收集的样本点,构建数据集;
步骤2,确定对象半径ε和最小点值MinPts;
步骤3,根据对象半径ε和最小点值MinPts,筛选获得所有的核心对象;
将所有的核心对象组成集合,获得核心对象集;
步骤4,获取样本点与核心对象集中的各核心对象之间的距离;
对样本点与核心对象集中各核心对象的距离升序排序,筛选出前K个距离对应的核心对象作为第K核心邻域;
步骤5,根据第K核心邻域可达距离,计算获得样本点在第K核心邻域的第K核心可达距离;基于样本点在第K核心邻域的第K核心可达距离,计算获得样本点的核心局部可达密度;
基于样本点的核心局部可达密度,计算样本点的核心局部异常因子。
步骤6,对核心局部异常因子进行排序,将满足设定条件的样本点作为异常值。
2.根据权利要求1所述的一种数据异常值检测方法,其特征在于,步骤2,通过以下步骤实现:
计算每个样本点与其相邻点之间的平均距离;
根据平均距离的大小排序,构建平均距离和样本点之间的关系曲线图;
平均距离和样本点之间的关系曲线图中,在y轴上绘制平均距离,在x轴上绘制所有样本点;筛选平均距离和样本点之间的关系曲线图中平均距离的变化斜率大于设定阈值的平均距离作为对象半径ε;
将数据集的维度数乘以设定常数,获得最小点值MinPts。
3.根据权利要求1所述的一种数据异常值检测方法,其特征在于,步骤3:根据对象半径ε和最小点值MinPts,筛选获得所有的核心对象,通过以下步骤实现:若样本点的对象半径ε内的样本点数大于或等于最小点值MinPts,则判定该样本点为核心对象。
4.根据权利要求1所述的一种数据异常值检测方法,其特征在于,步骤5:根据第K核心邻域可达距离,计算获得样本点在第K核心邻域的第K核心可达距离,通过以下步骤实现:计算出每一个样本点在第K核心邻域的第K核心可达距离:core_reach_dk(O,P)=max(core_dk(O),d(O,P)),core_reach_dk(O,P)为样本点O到样本点P的第K核心可达距离,core_dk(O)是样本点O的第K核心距离,d(O,P)为样本点O到样本点P的距离。
5.根据权利要求1所述的一种数据异常值检测方法,其特征在于,计算每一点的核心局部可达密度core_lrdk(P):式中,core_Nk(P)为样本点P的第K核心邻域,|core_Nk(P)|为样本点P的第K核心邻域内核心对象的个数,core_reach_dk(O,P)为样本点O到样本点P的第K核心可达距离。
6.根据权利要求1所述的一种数据异常值检测方法,其特征在于,计算每一点的核心局部异常因子core_lofk(P):式中,core_Nk(P)为样本点P的第K核心邻域,|core_Nk(P)|为样本点P的第K核心邻域内核心对象的个数,core_lrdk(O)为样本点O的第K核心局部可达密度,core_lrdk(P)为样本点P的第K核心局部可达密度。
7.一种数据异常值检测系统,其特征在于,包括:数据采集模块,用于利用收集的样本点,构建数据集;
数据计算模块,用于确定对象半径ε和最小点值MinPts;
用于根据对象半径ε和最小点值MinPts,筛选获得所有的核心对象;
将所有的核心对象组成集合,获得核心对象集;
获取样本点与核心对象集中的各核心对象之间的距离;
数据处理模块,用于对样本点与核心对象集中各核心对象的距离升序排序,筛选出前K个距离对应的核心对象作为第K核心邻域;
根据第K核心邻域可达距离,计算获得样本点在第K核心邻域的第K核心可达距离;
基于样本点在第K核心邻域的第K核心可达距离,计算获得样本点的核心局部可达密度;
基于样本点的核心局部可达密度,计算样本点的核心局部异常因子。
数据输出模块,用于对核心局部异常因子进行排序,将满足设定条件的样本点作为异常值。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至7中任一项所述方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。