欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2015104727823
申请人: 杭州海康威视系统技术有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-07-25
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种分布式数据计算的任务分配方法,其特征在于,包括:接收分布式数据中计算的目标数据的存储参数;

根据所述存储参数将所述目标数据的数据片映射到弹性分布式数据集,每个数据片分别对应所述弹性分布式数据集中的一个分区;

将分区指定到存储节点生成计算任务进行计算。

2.根据权利要求1所述的一种分布式数据计算的任务分配方法,其特征在于,所述根据所述存储参数将所述目标数据的数据片映射到弹性分布式数据集,每个数据片分别对应所述弹性分布式数据集中的一个分区,包括:根据所述存储参数判断所述数据片中的数据是否全部属于目标数据;

若所述数据片中的数据全部属于目标数据,将该数据片映射到弹性分布式数据集的一个分区;

若所述数据片中的数据不是全部属于目标数据,将该数据片中属于目标数据的部分映射到弹性分布式数据集的一个分区。

3.根据权利要求1所述的一种分布式数据计算的任务分配方法,其特征在于,所述将分区指定到存储节点生成计算任务进行计算,包括:将分区指定到该分区对应的数据片所在的存储节点;

调用转化算子,在所述存储节点根据分区的数据生成计算任务;

调用行动算子对所述计算任务进行计算。

4.根据权利要求3所述的一种分布式数据计算的任务分配方法,其特征在于,所述将分区指定到存储节点生成计算任务进行计算之后,还包括:接收存储节点返回的计算任务的处理结果。

5.根据权利要求1所述的一种分布式数据计算的任务分配方法,其特征在于,所述分布式数据的数据库为HBase。

6.一种分布式数据计算的任务分配装置,其特征在于,包括:目标数据确认单元,用于接收分布式数据中计算的目标数据的存储参数;

目标数据映射单元,用于根据所述存储参数将所述目标数据的数据片映射到弹性分布式数据集,每个数据片分别对应所述弹性分布式数据集中的一个分区;

计算任务分配单元,用于将分区指定到存储节点生成计算任务进行计算。

7.根据权利要求6所述的一种分布式数据计算的任务分配装置,其特征在于,所述目标数据映射单元,包括:数据片判断模块,用于根据所述存储参数判断所述数据片中的数据是否全部属于目标数据;

第一映射模块,用于若所述数据片中的数据全部属于目标数据,将该数据片映射到弹性分布式数据集的一个分区;

第二映射模块,用于若所述数据片中的数据不是全部属于目标数据,将该数据片中属于目标数据的部分映射到弹性分布式数据集的一个分区。

8.根据权利要求6所述的一种分布式数据计算的任务分配装置,其特征在于,所述计算任务分配单元,包括:分区指定模块,用于将分区指定到该分区对应的数据片所在的存储节点;

计算任务生成模块,用于调用转化算子,在所述存储节点根据分区的数据生成计算任务;

计算任务执行模块,用于调用行动算子对所述计算任务进行计算。

9.根据权利要求8所述的一种分布式数据计算的任务分配装置,其特征在于,还包括:结果接收单元,用于接收每个存储节点返回的计算任务的处理结果。

10.根据权利要求6所述的一种分布式数据计算的任务分配装置,其特征在于,所述分布式数据的数据库为HBase。