欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019104921766
申请人: 桂林电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于Spark与蚁群优化的多目标并行属性约简方法,其特征是,具体包括步骤如下:步骤1、将决策信息系统上传至分布式文件系统HDFS中,HDFS会自动地将决策信息系统中的数据切分为多个数据分片分布至各个计算机节点,且各个数据分片独立不重叠;上述各个计算机节点中有一个为主节点,其余均为从节点;

步骤2、各个计算机节点包括主节点和从节点,对其所分得的数据分片进行属性提取,并将其以键值对的形式进行存储;此时,所得键值对中的key值为条件属性i及其取值,条件属性j及其取值,决策属性的取值;所得键值对中的value值为1;

步骤3、各个从节点将其所存储的键值对上传到主节点,主节点对主节点自身存储的所有键值对和各个从节点上传的所有键值对进行等价类求和操作,即将这些键值对中相同key值所对应的value值进行数值累加;

此时,所得键值对中的key值保持不变;所得键值对中的value值为求和所得数值;

步骤4、主节点对步骤3所得键值对进行重新定义,即将这些键值对中的key值包含的决策属性值去除;此时,所得键值对中的key值为条件属性i及其取值,条件属性j及其取值;所得键值对中的value值保持不变;

步骤5、主节点再次对步骤4所得键值对进行等价类合并操作,即将这些键值对中相同key值所对应的value值以数组形式合并;此时,所得键值对中的key值保持不变;所得键值对中的value值为合并所得数组;

步骤6、主节点将步骤5所得的键值对广播到各个从节点;各个计算机节点包括主节点和从节点,根据所得到的键值对,计算各个属性相对于决策属性的单属性局部条件熵,以及每2个属性之间相对决策属性的属性对局部条件熵;

步骤7、从节点将所其所计算的所有单属性局部条件熵和属性对局部条件熵同时上传到主节点;主节点对各个属性的所有单属性局部条件熵进行相加,得到单属性全局条件熵;

同时,主节点对各个属性对局部条件熵进行相加,得到属性对全局条件熵;最后,主节点根据单属性全局条件熵和属性对全局条件熵计算得到每2个属性之间的启发信息;

步骤8、主节点基于步骤7所计算的每2个属性之间的启发信息,利用蚁群算法对决策信息系统中的条件属性集进行约简;

上述i,j∈C,C表示条件属性集,j≠i。

2.根据权利要求要求1所述基于Spark与蚁群优化的多目标并行属性约简方法,其特征是,步骤3中,key值相同是指条件属性i,条件属性i的取值,条件属性j,条件属性j的取值,以及决策属性的取值均完全相同;

步骤5中,key值相同是指条件属性i,条件属性i的取值,条件属性j,以及条件属性j的取值均完全相同。

3.根据权利要求1所述的基于Spark与蚁群优化的多目标并行属性约简方法,其特征是,启发信息ηij为:其中,H(D|i)表示条件属性i相对于决策属性D的条件熵,H(D|j)表示条件属性j相对于决策属性D的条件熵,H(D|i∪j)表示条件属性i与条件属性j的并集相对于表示决策属性D的条件熵。

4.根据权利要求1所述的基于Spark与蚁群优化的多目标并行属性约简方法,其特征是,利用蚁群算法对决策信息系统中的条件属性集进行约简的具体过程如下:步骤1)令初始的全局约简集Rmin=C,初始的迭代参数t=0;给定初始的信息素浓度τij(0),给定迭代总次数maxGeneration,1≤i≤|C|,1≤j≤|C|;其中C表示条件属性集,|C|表示条件属性集中属性的个数;

步骤2)令迭代参数t加1,表示第t次迭代;

步骤3)初始蚂蚁k=1,表示第k只蚂蚁,每一代均有Ant只蚂蚁进行最小约简集合的求解;

步骤4)对于当前蚂蚁k,从条件属性集C中随机选取1个条件属性作为当前选择的条件属性,并将该当前选择的条件属性放入当前蚂蚁k的局部约简集Rk中;

步骤5)利用当前信息素浓度τij(t)和启发信息ηij计算当前蚂蚁k的当前选择的条件属性与条件属性集C中其他未被选取的条件属性之间概率,并选择最大概率所对应的其他条件属性作为当前蚂蚁k的拟选择的条件属性;

步骤6)判断当前蚂蚁k的局部约简集合Rk添加拟选择的条件属性后,与决策属性D的互信息是否发生改变:若互信息值发生改变,则将拟选择的条件属性作为当前选择的条件属性,并将其放入当前蚂蚁k的局部约简集Rk中,并进入步骤7);

若互信息值没有发生改变,则表示拟选择的条件属性冗余,直接进入步骤7);

步骤7)判断当前蚂蚁k的约简集Rk所包含属性的个数是否大于等于当前全局约简集Rmin所包含的属性个数:如果是,则当前全局约简集Rmin不变;

否则,进一步判断当前蚂蚁k的当前约简集Rk与决策属性D的互信息是否等于条件属性集C与决策属性D的互信息:如果是,则当前约简集Rmin为更新Rk;

否则,当前全局约简集Rmin不变;

步骤8)令蚂蚁k加1,并判断k是否等于蚂蚁总数Ant:当k=Ant时,直接进入步骤9);否则,返回步骤4);

步骤9)对当前全局约简集Rmin中每个属性进行冗余检测,即判断全局约简集Rmin删除该属性后,与决策属性的互信息是否发生改变,当互信息值未发生改变时,则表明该属性冗余,将该属性从全局约简集Rmin中删除;否则,表明该属性不冗余,将该属性继续保留在全局约简集Rmin中;

步骤10)计算下一代的信息素浓度τij(t+1);

步骤11)判断t是否等于迭代总次数maxGenerntion:当t=maxGenerntion时,输出当前全局约简集;否则,返回步骤3)。

5.根据权利要求4所述的基于Spark与蚁群优化的多目标并行属性约简方法,其特征是,步骤5)中,第t代,蚂蚁k的当前选择的条件属性i与条件属性集C中其他条件属性j之间的概率 为:其中,τij(t)为第t代条件属性i与条件属性j之间的信息素浓度,ηij为条件属性i与条件属性j之间的启发信息,allowedk为条件属性集C中未被选择的条件属性所构成的集合,α为给定的信息素浓度的重要度,0≤α≤1,β为给定的启发信息的重要度,0≤β≤1。

6.根据权利要求4所述的基于Spark与蚁群优化的多目标并行属性约简方法,其特征是,步骤10)中,第t+1代信息素浓度τij(t+1)为:τij(t+1)=ρτij(t)+Δτij(t)

其中,ρ为给定的信息素浓度挥发率,τij(t)为第t代条件属性i与条件属性j之间的信息素浓度,Δτij(t)为第t代条件属性i与条件属性j之间的信息素浓度的增量。

7.根据权利要求6所述的基于Spark与蚁群优化的多目标并行属性约简方法,其特征是,第t代条件属性i与条件属性j之间的信息素浓度的增量Δτij(t)为:其中,|Rmin|为全局约简集中属性的个数,q为给定常量。