欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020105878910
申请人: 安徽大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多NDP协同主机端执行并行任务的KV存储系统优化方法,其特征在于,首先在存储系统中设置多个NDP设备,每一个NDP设备设置一个对应的键值阈值,并根据键值阈值对NDP设备进行排序,获取各NDP设备的键值区间;主机端将获取的存储数据分发到各NDP设备进行存储;当触发压缩任务时,首先获取参与压缩的文件,结合参与压缩的文件的键值范围和键值阈值,将参与压缩的文件分配到对应的NDP设备进行压缩任务的并行执行和存储。

2.如权利要求1所述的基于多NDP协同主机端执行并行任务的KV存储系统优化方法,其特征在于,当主机端获得压缩任务信息,对压缩任务进行分割和分配的方法具体包括以下步骤:S1、首先获取压缩任务层数Ln,从压缩任务层数Ln筛选待压缩文件;然后在Ln+1层选取所有与待压缩文件键值范围重叠的文件与待压缩文件一起参与压缩,并获取参与压缩的文件的最小键值Kp和最大键值Kq;

S2、判断键值范围Kp~Kq内是否存在键值阈值;

S3、是,则将存在于键值范围Kp~Kq内的键值阈值作为分割界限点,根据分割界限点将参与压缩的文件分割为位于不同阈值区间的任务文件并发送给对应的NDP设备进行压缩处理;

S4、否,则将参与压缩的文件分割为两部分任务文件,分别由主机端和键值范围Kp~Kq对应的NDP设备进行压缩处理。

3.如权利要求2所述的基于多NDP协同主机端执行并行任务的KV存储系统优化方法,其特征在于,步骤S4中,将参与压缩的文件平均分割为两个任务。

4.如权利要求2所述的基于多NDP协同主机端执行并行任务的KV存储系统优化方法,其特征在于,步骤S4具体为:设置分割键值 并以分割键值 为界限将参与压缩的文件分割为两个任务;分割键值 为参与压缩的第m个文件的键值范围上限值,m=num/2,其中,num为参与压缩文件的数量。

5.如权利要求2所述的基于多NDP协同主机端执行并行任务的KV存储系统优化方法,其特征在于,步骤S4中,主机端对任务进行压缩处理后,将压缩文件发送到阈值区间包含[Kp,Kq]的的NDP设备进行存储。

6.如权利要求1所述的基于多NDP协同主机端执行并行任务的KV存储系统优化方法,其特征在于,还包括:对各NDP的任务进程进行实时监控,当任一NDP设备压缩任务进程耗时时间达到预设的耗时上限值,或者任一NDP设备的空闲时间达到预设的闲置上限值,则对NDP设备的键值阈值进行调整,使各NDP设备的压缩任务均衡分布。

7.如权利要求6所述的基于多NDP协同主机端执行并行任务的KV存储系统优化方法,其特征在于,当任一NDP设备压缩任务进程耗时时间达到预设的耗时上限值时,对NDP设备的键值阈值进行调整的方式为:以长时间处于压缩进程的NDP设备作为分出对象,从分出对象的相邻的NDP设备中获得目标对象,调整位于分出对象与目标对象键值范围分界点上的键值阈值,以扩大目标对象的阈值区间并缩小分出对象的阈值区间。

8.如权利要求7所述的基于多NDP协同主机端执行并行任务的KV存储系统优化方法,其特征在于,目标对象为分出对象相邻的NDP设备中获得的压缩任务较小的NDP设备。

9.如权利要求6所述的基于多NDP协同主机端执行并行任务的KV存储系统优化方法,其特征在于,当任一NDP设备的空闲时间达到预设的闲置上限值,对NDP设备的键值阈值进行调整的方式为:以该空闲时间达到闲置上限值的NDP设备作为目标对象,从目标对象相邻的NDP设备中选取分出对象,调整位于分出对象与目标对象键值范围分界点上的键值阈值,以扩大目标对象的阈值区间并缩小分出对象的阈值区间。

10.如权利要求9所述的基于多NDP协同主机端执行并行任务的KV存储系统优化方法,其特征在于,分出对象为目标对象相邻的NDP设备中获得的压缩任务较多的文件。