1.一种大数据增量迭代方法,其特征在于,包括:
接收由图形处理器执行的有向无环图任务,获取与所述有向无环图任务对应的数据集,将所述数据集存储至图形处理器内存中的缓存;
响应所述有向无环图任务,对所述数据集进行迭代计算,得到迭代计算后的数据集,并以所述迭代计算后的数据集对所述缓存中存储的数据集进行更新;
当所述数据集发生增量变化时,基于所述缓存中存储的所述迭代计算后的数据集进行增量迭代计算,得到增量迭代后的数据集,以所述增量迭代后的数据集对所述缓存中的数据集进行更新。
2.根据权利要求1所述的方法,其特征在于,所述缓存为共享内存,所述方法还包括:当检测到所述共享内存上的数据集存储量大于预设阈值时,通过基于块的滑动窗口机制将所述共享内存上的数据集迁移至全局内存。
3.根据权利要求2所述的方法,其特征在于,还包括:
当检测到与所述有向无环图任务对应的增量迭代计算停止时,将所述全局内存上的数据集迁移至中央处理器内存。
4.根据权利要求1所述的方法,其特征在于,所述获取与所述有向无环图任务对应的数据集,将所述数据集存储至图形处理器内存中的缓存,包括:获取与所述有向无环图任务对应的RDD格式的数据集;
对所述RDD格式的数据集进行数据格式转换,得到G-RDD格式的数据集,将所述G-RDD格式的数据集存储至图形处理器内存中的缓存。
5.根据权利要求4所述的方法,其特征在于,所述对所述RDD格式的数据集进行数据格式转换,得到G-RDD格式的数据集,将所述G-RDD格式的数据集存储至图形处理器内存中的缓存,包括:将所述RDD格式的数据集存储至数据缓冲区,调取所述数据缓冲区中的RDD格式的数据集进行数据格式转换,得到G-RDD格式的数据集,将所述G-RDD格式的数据集存储至所述图形处理器内的缓存。
6.根据权利要求1所述的方法,其特征在于,所述获取与所述有向无环图任务对应的数据集,将所述数据集存储至图形处理器内存中的缓存,包括:从分布式文件系统中读取与所述有向无环图任务对应的数据集,并将读取到的数据集存储至图形处理器内存;
从所述图形处理器内存中获取与所述有向无环图任务对应的数据集,将所述数据集存储至所述图形处理器内存中的缓存。
7.一种大数据增量迭代装置,其特征在于,所述装置包括:
任务接收模块,用于接收由图形处理器执行的有向无环图任务,获取与所述有向无环图任务对应的数据集,将所述数据集存储至图形处理器内存中的缓存;
数据更新模块,用于响应所述有向无环图任务,对所述数据集进行迭代计算,得到迭代计算后的数据集,并以所述迭代计算后的数据集对所述缓存中存储的数据集进行更新;
增量迭代模块,用于当所述数据集发生增量变化时,基于所述缓存中存储的所述迭代计算后的数据集进行增量迭代计算,得到增量迭代后的数据集,以所述增量迭代后的数据集对所述缓存中的数据集进行更新。
8.根据权利要求7所述的装置,其特征在于,所述缓存为共享内存,所述装置还包括:数据迁移模块,用于当检测到所述共享内存上的数据集存储量大于预设阈值时,通过基于块的滑动窗口机制将所述共享内存上的数据集迁移至全局内存。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。