欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019110636158
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于任务分割的分布式图计算系统,其特征在于,所述系统包括:客户端,用于负责计算任务的分割与上传、图数据的处理与上传、定时检测是否所有子任务执行完毕、完成部分简单计算任务;

服务端,用于接收并管理客户端上传的子任务,将任务分发至工作端执行;

工作端,用于完成子任务的计算,上传计算结果;

数据中心,用于管理客户端处理后的图数据、任务状态表及计算结果;

其中服务端使用Gearman任务分发框架,客户端与工作端依据计算任务进行设计,数据中心采用MongoDB数据库;

所述客户端的处理过程为:

1.1)获取图数据将其转化为邻接链表形式后上传数据中心,此过程中邻接链表经压缩工具压缩后以GirdFS文件形式传输;

1.2)计算任务的分割过程中采用均匀分割策略,客户端通过启动参数任务分割数、工作端线程数及图数据,使用平均分割的思想确认子任务中划分顶点数,由此完成任务的分割,同时补全邻接链表及度中心性计算结果,使各子任务在计算节点的计算用时趋于一致;

1.3)完成任务分割后,生成任务列表上传服务端,生成任务状态表上传数据中心;

1.4)完成部分简单计算任务,计算结果直接上传数据中心;

1.5)完成上述功能后,通过任务状态表定时检测计算任务是否全部完成,当查询到所有计算子任务完成后,从数据库中下载并解压中介中心性计算分量,对其进行整合后创建最终的中介中心性计算结果文档列表并上传至数据库保存,对所有计算结果进行整合并上传存储于数据中心,计算任务结束。

2.根据权利要求1所述一种基于任务分割的分布式图计算系统,其特征在于,所述服务端使用Gearman任务分发框架,通过Gearman提供的接口完成与客户端、工作端之间数据及相关信息的交互,包括计算子任务的接收、管理与分发。

3.根据权利要求1所述一种基于任务分割的分布式图计算系统,其特征在于,所述工作端的处理过程为:

3.1)负责接收服务端分发的任务,从数据库获取相关图数据后运行图计算算法,完成各子任务的计算,计算完成后将计算结果上传至数据中心;

3.2)执行计算任务时使用多线程技术提高系统性能,对于在多线程过程中可能出现数据冲突的部分数据,使用二维数组存储的方式避免。

4.根据权利要求1所述一种基于任务分割的分布式图计算系统,其特征在于,数据中心的处理过程为:

4.1)选用MongoDB数据库作为数据中心,主要负责图数据的接收与管理、任务状态列表的保存与管理、计算结果的保存与管理;

4.2)数据传输过程中使用MongoDB数据库中的GirdFS文件格式进行整体传输,获取比单条传输更高的传输速率,使用压缩工具对GirdFS格式的文件进行压缩。