欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019104607459
申请人: 湖南大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种大数据增量迭代方法,其特征在于,包括:

接收由图形处理器执行的有向无环图任务,获取与所述有向无环图任务对应的数据集,将所述数据集存储至图形处理器内存中的缓存;

响应所述有向无环图任务,对所述数据集进行迭代计算,得到迭代计算后的数据集,并以所述迭代计算后的数据集对所述缓存中存储的数据集进行更新;

当所述数据集发生增量变化时,基于所述缓存中存储的所述迭代计算后的数据集进行增量迭代计算,得到增量迭代后的数据集,以所述增量迭代后的数据集对所述缓存中的数据集进行更新。

2.根据权利要求1所述的方法,其特征在于,所述缓存为共享内存,所述方法还包括:当检测到所述共享内存上的数据集存储量大于预设阈值时,通过基于块的滑动窗口机制将所述共享内存上的数据集迁移至全局内存。

3.根据权利要求2所述的方法,其特征在于,还包括:

当检测到与所述有向无环图任务对应的增量迭代计算停止时,将所述全局内存上的数据集迁移至中央处理器内存。

4.根据权利要求1所述的方法,其特征在于,所述获取与所述有向无环图任务对应的数据集,将所述数据集存储至图形处理器内存中的缓存,包括:获取与所述有向无环图任务对应的RDD格式的数据集;

对所述RDD格式的数据集进行数据格式转换,得到G-RDD格式的数据集,将所述G-RDD格式的数据集存储至图形处理器内存中的缓存。

5.根据权利要求4所述的方法,其特征在于,所述对所述RDD格式的数据集进行数据格式转换,得到G-RDD格式的数据集,将所述G-RDD格式的数据集存储至图形处理器内存中的缓存,包括:将所述RDD格式的数据集存储至数据缓冲区,调取所述数据缓冲区中的RDD格式的数据集进行数据格式转换,得到G-RDD格式的数据集,将所述G-RDD格式的数据集存储至所述图形处理器内的缓存。

6.根据权利要求1所述的方法,其特征在于,所述获取与所述有向无环图任务对应的数据集,将所述数据集存储至图形处理器内存中的缓存,包括:从分布式文件系统中读取与所述有向无环图任务对应的数据集,并将读取到的数据集存储至图形处理器内存;

从所述图形处理器内存中获取与所述有向无环图任务对应的数据集,将所述数据集存储至所述图形处理器内存中的缓存。

7.一种大数据增量迭代装置,其特征在于,所述装置包括:

任务接收模块,用于接收由图形处理器执行的有向无环图任务,获取与所述有向无环图任务对应的数据集,将所述数据集存储至图形处理器内存中的缓存;

数据更新模块,用于响应所述有向无环图任务,对所述数据集进行迭代计算,得到迭代计算后的数据集,并以所述迭代计算后的数据集对所述缓存中存储的数据集进行更新;

增量迭代模块,用于当所述数据集发生增量变化时,基于所述缓存中存储的所述迭代计算后的数据集进行增量迭代计算,得到增量迭代后的数据集,以所述增量迭代后的数据集对所述缓存中的数据集进行更新。

8.根据权利要求7所述的装置,其特征在于,所述缓存为共享内存,所述装置还包括:数据迁移模块,用于当检测到所述共享内存上的数据集存储量大于预设阈值时,通过基于块的滑动窗口机制将所述共享内存上的数据集迁移至全局内存。

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。