欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023105068885
申请人: 芜湖本初子午信息技术有限公司
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2024-02-28
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于计算的分布式任务管理方法,其特征在于,包括以下步骤:

S6‑1,对任务进行优先级划分;

S6‑2,利用线性回归模型获取最佳任务分片数量;

S6‑3,接收多个子任务信息information;

S6‑4,将多个子任务信息information、tag、IP Address和Execution Information融合为节点数据集;

S6‑5,读取节点数据集中的information;

S6‑6,依据所述子任务信息information和子任务执行信息Execution Information,在相应的计算节点上执行相应的任务;

其中,information为子任务信息,tag为子任务标签,IP Address为IP地址,Execution Information为子任务执行信息;

利用线性回归模型获取最佳任务分片数量;将任务分片为多个子任务;每个information与tag、IP Address和Execution Information融合成一个节点数据;所述线性回归模型为:其中,y是任务分片数量;w1是正常运行的计算节点数量权值;x1是正常运行的计算节点数量; 是任务特征权值矩阵;X2是任务特征矩阵,包括任务大小和类型,对于不同类型的任务赋予不同的正常值;b是偏置; 表示向下取整;

线性回归模型训练包括以下步骤:

S8‑1:通过网格搜索法,在[1,a]区间内以步长为1执行以往的任务,从而获取任务执行效率最高的[1,a]区间内的最佳任务分片数量,其中a为执行以往的任务时所对应的正常运行的计算节点的数量的3倍;

S8‑2:将执行以往的任务时所对应的正常运行的计算节点的数量和以往任务的特征作为输入,以往任务的最佳分片数量作为输出,通过线性回归模型进行训练得到计算节点数量权值、任务特征矩阵权值和偏置;

S8‑3:当有新的任务特征或对应的正常运行的计算节点的数量发生变化时,重复步骤S8‑1和S8‑2来更新计算节点数量权值、任务特征矩阵权值和偏置。

2.根据权利要求1所述的一种基于计算的分布式任务管理方法,其特征在于,所述tag包括priority和Status;所述priority为优先级标签,所述Status为状态标签;Status包括:等待执行、正在执行、成功执行和执行失败根据;当读取等待执行的子任务信息时,修改其对应节点数据的Status为等待执行;当正在执行的子任务信息执行成功时,修改其对应节点数据的Status为成功执行;当正在执行的子任务信息执行失败时,修改其对应节点数据的Status为执行失败。

3.根据权利要求1所述的一种基于计算的分布式任务管理方法,其特征在于,在执行任务的过程中,将任务快照存储到恢复中心,并根据任务快照恢复执行失败的任务。

4.一种基于计算的分布式任务管理系统,应用如权利要求1‑3中任一项所述的一种基于计算的分布式任务管理方法,其特征在于,包括:任务创建服务器、控制中心、数据库、计算节点和恢复中心;

所述任务创建服务器,与所述控制中心之间相连接,用于接收任务,赋予任务优先级标签priority,传送任务及优先级标签priority给控制中心;

所述控制中心,与所述数据库之间相连接,对所述任务创建服务器发送的任务进行调度,通过线性回归模型获取最佳任务分片数量,将任务分片为多个子任务,并发送到所述数据库,同时监视所述计算节点的任务执行情况;

所述数据库,与所述计算节点相连接,融合多个information、tag、IP Address和Execution Information为节点数据集;

所述计算节点,与所述恢复中心相连接,根据从所述数据库接收的子任务信息information和子任务执行信息Execution Information,执行相应的任务;

所述恢复中心,存储任务快照,并发送任务快照到所述数据库。

5.根据权利要求4所述一种基于计算的分布式任务管理系统,其特征在于,所述任务创建服务器对任务进行两级优先级划分,高优先级任务分配到优先组服务器执行;优先组中无高优先级任务时,分配低优先级任务到优先组服务器执行。

6.根据权利要求4所述一种基于计算的分布式任务管理系统,其特征在于,所述tag包括priority和Status,tag与IP Address、information和Execution Information融合成节点数据;所述priority为优先级标签,所述Status为状态标签;所述Status包括等待执行、正在执行、成功执行和执行失败。

7.根据权利要求4所述一种基于计算的分布式任务管理系统,其特征在于:所述计算节点根据任务快照恢复执行失败的任务。

8.根据权利要求4所述一种基于计算的分布式任务管理系统,其特征在于:所述控制中心基于ElasticSearch、Zookeeper和分布式资源管理器Yarn。