1.一种Coflow协同作业流调度感知的数据流划分方法,所述方法包括:获取待划分的DDSP应用程序数据流;
提取DDSP应用程序的复杂计算任务流,根据预设Coflow协同作业流调度模型,将DDSP应用程序中复杂计算任务流划分为多个子任务流;
分析各子任务流的数据访问需求和数据依赖性,对所述DDSP应用程序数据流进行多维度数据分割,得到数据块;
将各所述子任务流中的计算任务分配至分布式计算集群中的计算节点,并根据各计算节点中子任务流的数据访问需求,以计算节点之间数据通信最小化和计算节点工作负载均衡化为优化目标,将分割后的数据块分配到最合适的计算节点。
2.根据权利要求1所述的方法,其特征在于,所述提取DDSP应用程序的复杂计算任务流,根据预设Coflow协同作业流调度模型,将DDSP应用程序中复杂计算任务流划分为多个子任务流之前,还包括:将DDSP应用程序部署于分布式并行计算集群环境中,所述分布式并行计算集群环境包括多个分布式计算节点;
获取DDSP应用程序执行分布式并行计算任务的流式数据;
根据DDSP应用中高吞吐量、各分布式节点中子任务流之间的数据通信和工作负载均衡情况,构建Coflow协同作业流调度模型。
3.根据权利要求1所述的方法,其特征在于,所述分析各子任务流的数据访问需求和数据依赖性,对所述DDSP应用程序数据流进行多维度数据分割,得到数据块包括:分别评估各子任务流中每个任务的数据访问需求和数据依赖性;
根据所述数据访问需求和所述数据依赖性进行面向各子任务流整体的数据分割;
识别所述DDSP应用程序数据流的数据维度;
根据所述数据维度对整体分割后的数据块进行再次分割,得到数据块。
4.根据权利要求3所述的方法,其特征在于,所述根据所述数据访问需求和所述数据依赖性进行面向各子任务流整体的数据分割包括:当根据所述数据访问需求和数据依赖性,识别出当前子任务流中有多个任务要求访问同一个数据块的全部或部分内容时,则将所述多个任务访问的公共数据区定义为所述同一个数据块面向所述当前子任务流的数据索引范围;
根据所述数据索引范围,将所述同一个数据块中所述公共数据区分割出,并将分割出的数据块分配至所述当前子任务流。
5.根据权利要求3所述的方法,其特征在于,所述根据所述数据维度对整体分割后的数据块进行再次分割,得到数据块包括:获取各个所述数据维度对应的数据访问需求,根据所述数据维度对应的数据访问需求对整体分割后的数据块进行再次分割,得到数据块。
6.根据权利要求1所述的方法,其特征在于,所述将各所述子任务流中的计算任务分配至分布式计算集群中的计算节点,并根据各计算节点中子任务流的数据访问需求,以计算节点之间数据通信最小化和计算节点工作负载均衡化为优化目标,将分割后的数据块分配到最合适的计算节点包括:将各所述子任务流中的计算任务分配至分布式计算集群中的计算节点;
根据任务与数据块之间的访问需求,以计算节点之间数据通信最小化为目标,将分割后的数据块分配到最频繁访问的计算任务所在计算节点;
当某个数据块被多个计算节点所使用时,将该数据块复制多份,并分别分配至所述多个计算节点。
7.一种Coflow协同作业流调度感知的数据流划分装置,其特征在于,所述装置包括:识别模块,用于获取待划分的DDSP应用程序数据流;
划分模块,用于提取DDSP应用程序的复杂计算任务流,根据预设Coflow协同作业流调度模型,将DDSP应用程序中复杂计算任务流划分为多个子任务流;
多维度数据分割模块,用于分析各子任务流的数据访问需求和数据依赖性,对所述DDSP应用程序数据流进行多维度数据分割,得到数据块;
数据块分配模块,用于将各所述子任务流中的计算任务分配至分布式计算集群中的计算节点,并根据各计算节点中子任务流的数据访问需求,以计算节点之间数据通信最小化和计算节点工作负载均衡化为优化目标,将分割后的数据块分配到最合适的计算节点。
8.根据权利要求7所述的装置,其特征在于,还包括:
模型构建模块,用于将DDSP应用程序部署于分布式并行计算集群环境中,所述分布式并行计算集群环境包括多个分布式计算节点;获取DDSP应用程序执行分布式并行计算任务的流式数据;根据DDSP应用中高吞吐量、各分布式节点中子任务流之间的数据通信和工作负载均衡情况,构建Coflow协同作业流调度模型。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。