1.一种有限存储和计算资源下分布式计算的调度策略方法,其特征在于,包括以下步骤:步骤1,生成任务矩阵T;
数据量->rdc,计算量->rcc,所需内存大小->rnm,输出数据量->rodc;
步骤2,生成应用服务器资源矩阵Y;
cpu核心数->acn,每个核心的处理速率->acv,内存大小->an,网络传输速率->nv;
步骤3,数据库服务器资源矩阵D;
网络传输速率->nv,cpu核心数->dpcn,每个核心的处理速率->dbcv,内存大小-dbn,硬盘读取速率-dbdv;
步骤4,划分该任务的类型,如果任务的rdc数据量
步骤5,判断当前可以进行分配的服务器,对于cpu密集型任务优先判断应用服务器是否可以在当前情况下进行并行执行;
计算应用服务器的并行度Pac=acn*(rcc/acv+(rdc+rodc)/nv)/((rdc+rodc)/nv),即为核心数*(cpu时间+IO时间)/IO时间,IO密集型优先判断是否能在数据库服务器上进行并发执行;
计算并行度PaO=acn*(rcc/acv+(rdc+rodc)/dbdv)/((rdc+rodc)/dbdv),如果计算后的并行度>=该服务器分配的任务数量tn+1,则该服务器则可视为候选服务器,加入该任务候选服务器列表tsl中;
步骤6,如果tsl不为空,则计算将任务分配至哪台服务器上执行时间最短,此时将最长的任务执行时长作为服务器执行的总时长Ect;
步骤7,如果tsl为空,则计算该任务在所有服务器上的执行时长,将任务优先分配至执行时间最短的服务器上;
步骤8,为任务生成分配方案,ts1,ts2,ts3,并按照步骤5、步骤6、步骤7步对分配方案进行优先级排序,按照优先级顺序进行分配;
步骤9,从任务矩阵中获取任务重复步骤4、步骤5、步骤6、步骤7、步骤8的步骤直至获得一种方案,如果满足设定的时间阈值maxT,则输出方案,如果不满足则重复上述步骤。
2.如权利要求1所述有限存储和计算资源下分布式计算的调度策略方法,其特征在于,所述任务执行时长包括单个任务的耗时计算、整体的耗时计算。
3.如权利要求2所述有限存储和计算资源下分布式计算的调度策略方法,其特征在于,所述单个任务的耗时计算:一个任务在处理时并非会把所需要的数据一次性从硬盘中拉取到内存中,而是分批拉取处理,每个批次的数据量就是该任务所需的内存大小;
拉取次数为任务的(数据量/所需内存大小),每个批次内的耗时为(cpu计算速率*计算量/拉去次数)+数据量*IO速率/拉去次数,根据流水线指令的公式,单个任务的耗时的计算公式为:(拉取次数-1)*max((cpu计算速率*计算量/拉取次数),数据量*IO速率/拉取次数)+(cpu计算速率*计算量/拉取次数)+数据量*IO速率/拉取次数,即完成一个任务的总耗时加上(次数-1)*耗时最长指令的耗时,其中IO速率在计算向数据移动时为数据库服务器的硬盘读取速率,在数据向计算移动时为网络传输速率。
4.如权利要求2所述有限存储和计算资源下分布式计算的调度策略方法,其特征在于,所述单个任务的耗时计算:单台服务器的耗时为该服务器执行时间最长的任务;
集群的最长耗时为耗时最长的单台服务器。
5.一种实施如权利要求1-4任意一项所述有限存储和计算资源下分布式计算的调度策略方法的有限存储和计算资源下分布式计算的调度策略系统,其特征在于,所述有限存储和计算资源下分布式计算的调度策略系统包括:生成模块,用于生成任务矩阵T;数据量->rdc,计算量->rcc,所需内存大小->rnm,输出数据量->rodc;生成应用服务器资源矩阵Y;cpu核心数->acn,每个核心的处理速率->acv,内存大小->an,网络传输速率->nv;
数据库模块,用于数据库服务器资源矩阵D;网络传输速率->nv,cpu核心数->dpcn,每个核心的处理速率->dbcv,内存大小-dbn,硬盘读取速率-dbdv;
划分模块,用于划分该任务的类型,如果任务的rdc数据量
判断模块,用于判断当前可以进行分配的服务器,对于cpu密集型任务优先判断应用服务器是否可以在当前情况下进行并行执行;计算应用服务器的并行度Pac=acn*(rcc/acv+(rdc+rodc)/nv)/((rdc+rodc)/nv),即为核心数*(cpu时间+IO时间)/IO时间,IO密集型优先判断是否能在数据库服务器上进行并发执行;
计算并行度PaO=acn*(rcc/acv+(rdc+rodc)/dbdv)/((rdc+rodc)/dbdv),如果计算后的并行度>=该服务器分配的任务数量tn+1,则该服务器则可视为候选服务器,加入该任务候选服务器列表tsl中;
如果tsl不为空,则计算将任务分配至哪台服务器上执行时间最短,此时将最长的任务执行时长作为服务器执行的总时长Ect;
如果tsl为空,则计算该任务在所有服务器上的执行时长,将任务优先分配至该服务器上;
分配模块,用于为任务生成分配方案,ts1,ts2,ts3,并对分配方案进行优先级排序,按照优先级顺序进行分配;
输出模块,用于从任务矩阵中获取任务重复步骤直至获得一种方案,如果满足设定的时间阈值maxT,则输出方案,如果不满足则重复上述步骤。
6.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1-4任意一项所述有限存储和计算资源下分布式计算的调度策略方法的步骤。
7.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1-4任意一项所述有限存储和计算资源下分布式计算的调度策略方法的步骤。
8.一种信息数据处理终端,其特征在于,所述信息数据处理终端用于实现如权利要求5所述有限存储和计算资源下分布式计算的调度策略系统。