1.一种大模型非时序训练数据质量评价方法,其特征在于,包括以下步骤:步骤1、收集原始数据集,根据原始数据集的总量、数据类分布情况、数据实时性三个方面对数据集进行宏观评价;
步骤2、对数据集进行微观评价前,对原始数据集进行标签重排列,形成实验数据集:将原始数据集按照标签进行分组,并将分组后各组的数据样本标签进行随机交换,与其他组的样本特征组合得到新的实验数据集,所述标签为需要进行分类的具体类别;
步骤3、进行相关系数测试:计算标签重排列所形成的实验数据集各个特征与标签之间的斯皮尔曼相关系数,对特征与标签的关联强度进行评价,并观察随着标签重排列比例的上升,斯皮尔曼相关系数的变化趋势;
步骤4、性能表现测试前,采用分层抽样的方法对标签重排列所形成的新的数据集进行样本抽取,形成所需的训练集与测试集;
步骤5、进行性能表现测试:通过上述分层抽样所形成的训练集与测试集在由K近邻、支持向量机、决策树、随机森林四种ML分类算法分类器池上的性能表现,对特征与标签之间的关联性进行验证;
步骤S6、若观察到随着标签重排列比例的上升,性能指标随之下降后,计算各个特征对模型性能下降贡献度,得出数据集质量评价结果。
2.根据权利要求1所述的大模型非时序训练数据质量评价方法,其特征在于,步骤1中,所述宏观评价包括:S1.1、对数据集的数据总量进行统计,确保数据集包含的样本总数达到需要的规模;
S1.2、对数据集的类分布情况进行检查,确保数据类别分布平衡,使样本数据量最少的类的数据量和样本数据量最多的类的数据量相比,数据量差值不高于预设;
S1.3、对数据进行实时性进行分析,基于数据的时效性,使数据集上传时间与数据集采集时间的间隔在预设时间内。
3.根据权利要求2所述的大模型非时序训练数据质量评价方法,其特征在于,步骤2中标签重排列方法包括:通过标签重排列打乱原始数据集,将各个组别的标签与其他组别的特征值进行组合,按照标签的具体类别将得到的数据集分为Group 1、Group 2、Group 3 ......Group n,设定评估过程中的排列比例,从各组数据样本中依次抽取所述排列比例的标签进行随机交换,与其他组的样本特征组合得到新的实验数据集。
4.根据权利要求3所述的大模型非时序训练数据质量评价方法,其特征在于,步骤3在相关系数测试时,使用斯皮尔曼相关系数作为相关系数测试的评价指标,计算过程如下:假设待评估实验数据集包含n个样本,特征变量X和标签变量Y的观测值分别为:;
在特征变量X和标签变量Y的观测值中,xi为样本i的特征变量,yi为样本i的标签变量,i=1,2...n;
则对应的秩为:
;
在特征变量X和标签变量Y对应秩中, 和 表示样本xi和yi的秩;
特征与标签之间的斯皮尔曼相关系数的计算公式为:
;
其中,n表示的是样本量, 表示第i个样本特征变量X的秩与标签变量Y的秩之间的差值, 表示每个样本的秩差的平方和。
5.根据权利要求4所述的大模型非时序训练数据质量评价方法,其特征在于,步骤3所述相关系数测试,方法包括如下子步骤:S3.1、假设实验数据集特征数量为有m个,计算实验数据集各特征与标签的斯皮尔曼相关系数Pj;
S3.2、按照标签重排列过程,对待评价实验数据集进行标签打乱;
S3.3、对于每个标签重排列比例下特征与标签的相关系数进行多次计算,每次计算所使用的数据集的标签重排列百分比相同,但排列次序各不相同,在该排列比例下形成了t个排列次序不同的数据集即进行了t次计算,得到对应的斯皮尔曼相关系数;
S3.4、对得到的斯皮尔曼相关系数取平均值作为该排列比例最终的相关系数, 表示特征j和标签Y之间的斯皮尔曼相关系数,公式如下:。
6.根据权利要求5所述的大模型非时序训练数据质量评价方法,其特征在于,步骤4通过分层抽样的方法形成微观评价时所需要的测试集和训练集,分层抽样的过程包括如下子步骤:S4.1、通过步骤1得到数据集总量为Q,通过数据集的标签即需要进行分类的具体类别对原数据集进行分组;
S4.2、确定测试集的样本数量为Q1,训练集的样本数量为Q2,且Q2 >>Q1;
S4.3、确定测试集的抽样比例为k1,训练集的抽样比例为k2,抽样比例的计算公式为:;
S4.4、按照上述测试集抽样比例k1从各组独立地抽取数据样本将其组合作为测试集,按照训练集抽样比例k2从各组独立地抽取数据样本将其组合作为训练集。
7.根据权利要求6所述的大模型非时序训练数据质量评价方法,其特征在于,步骤5在性能表现测试时,仅将整体分类任务的准确率Accuracy作为评判标准,公式如下:;
其中,TP为所有类别将正类预测为正类的样本总数,TN为所有类别将负类预测为负类的样本总数,FP为所有类别将负类预测为正类的样本总数,FN为所有类别将正类预测为负类的样本总数。
8.根据权利要求7所述的大模型非时序训练数据质量评价方法,其特征在于,步骤5性能表现测试包括如下子步骤:S5.1、在进行标签重排列测试前,使用原始数据集在KNN、SVM、DT、RF四个分类器上得出准确率M,作为性能系数;
S5.2、使用在每个标签重排列比例下形成的t个排列次序不同的数据集进行准确率测试,得到对应的性能系数 ;
S5.3、对得到的性能系数取平均值作为该排列比例最终的性能系数Mf,公式如下:。
9.根据权利要求7或8所述的大模型非时序训练数据质量评价方法,其特征在于,步骤6中计算模型性能下降贡献度时,方法包括:在观察到性能指标下降后,计算各个特征对模型性能下降贡献度,模型性能下降是每个特征的权重与其相关度下降的乘积之和,反推得出各个特征对模型性能下降贡献度D的计算公式:;
其中,Wj为特征j在分类器池中分类器上的权重, 为原始数据集特征j的相关系数与标签重排列后特征相关系数之差,Dj为特征j对模型性能下降贡献度。