欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020106685597
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种面向键值存储的近数据计算集群系统,其特征在于,包括:主机端和多个NDP设备;主机端分别与各NDP设备连接;

主机端包括:

集群设备管理模块,用于NDP设备信息对象的生成,包括设置各NDP设备的键值阈值,并结合键值阈值计算各NDP设备的存储键值区间;设备的新增与删除;设备工作状态的管理;

文件分发模块,用于接收上层应用发送的文件,并根据文件的阈值范围将文件发送到对应的存储键值区间的NDP设备进行存储;

文件迁移模块,用于获取各NDP设备的各压缩存储层的压缩需求,并用于根据压缩需求从各NDP设备对应的压缩存储层筛选待压缩文件,从下一层压缩存储层获取与待压缩文件的键值范围重合的文件作为待压缩补充文件;

文件迁移模块用于根据键值范围将待压缩文件和待压缩补充文件迁移到对应的存储键值区间的NDP设备进行存储和压缩排序;

主机端还包括负载均衡模块,用于监控各NDP设备的各压缩存储层的任务进程,并统计同一次任务进程中各NDP设备的进程占用时间和闲置时间;还用于根据各NDP设备的进程占用时间与预设的进程耗时阈值的比较结果以及各NDP设备的闲置时间与预设的空闲阈值的比较结果生成键值调整指令;

集群设备管理模块与负载均衡模块连接,用于根据键值调整指令对NDP设备的键值阈值进行调整;

以进程占用时间大于进程耗时阈值或者闲置时间大于空闲阈值的NDP设备作为调整对象,以存储键值范围与调整对象相邻的NDP设备作为相邻对象,集群设备管理模块用于根据键值调整指令对调整对象与任一相邻对象之间的键值阈值进行调整;

键值调整指令包含调整对象以及两个相邻对象在本次任务进程中的任务耗时;当调整对象的进程占用时间大于进程耗时阈值,集群设备管理模块对调整对象与任务耗时小的相邻对象之间的键值阈值进行调整,缩小调整对象的键值存储区间;当调整对象的闲置时间大于空闲阈值,集群设备管理模块对调整对象与任务耗时大的相邻对象之间的键值阈值进行调整,放大调整对象的键值存储区间。

2.如权利要求1所述的面向键值存储的近数据计算集群系统,其特征在于,文件迁移模块包括:存储监控单元、文件复制单元、文件分割单元和任务发送单元;

存储监督单元,用于获取各NDP设备的各压缩存储层的压缩需求,并用于获取压缩需求对应的待压缩文件和压缩补充文件;

文件复制单元,与存储监督单元连接,用于从待压缩文件和压缩补充文件中筛选键值范围超出当前所在NDP设备的存储键值区间的文件作为待迁移文件并获取;

文件分割单元,与文件复制单元连接,用于从待迁移文件中获取键值范围内包含至少一个键值阈值的文件作为切割目标,并用于根据键值阈值对切割目标进行分割;

任务发送单元,分别连接文件复制单元和文件分割单元,用于获取切割目标以外的待迁移文件和分割后的文件并根据键值范围分发到对应存储键值区间的NDP设备。

3.如权利要求2所述的面向键值存储的近数据计算集群系统,其特征在于,任务发送单元还用于在所有待迁移文件的键值范围均位于同一个存储键值区间上时,将所有待迁移文件划分为两部分,并分别发送到主机端的压缩存储层和键值范围对应的NDP设备进行压缩。

4.如权利要求3所述的面向键值存储的近数据计算集群系统,其特征在于,任务发送单元还用于获取主机端压缩后的文件并发送到键值范围对应的NDP设备进行存储。

5.如权利要求1所述的面向键值存储的近数据计算集群系统,其特征在于,负载均衡模块还分别连接文件分发模块和文件迁移模块,用于监控当前数据部署和数据流向;

负载均衡模块用于统计各NDP设备压缩任务的键值稀疏情况和局部键值阈值调优的次数,并根据统计结果对压缩任务分布和数据流向进行均衡处理。

6.如权利要求1所述的面向键值存储的近数据计算集群系统,其特征在于,主机端和NDP设备均包含缓存管理模块,主机端包含缓存管理模块用于扩大主机缓存的功能,NDP设备端缓存管理模块,用于承担压缩排序操作中所读数据的缓存。

7.如权利要求1至6任一项所述的面向键值存储的近数据计算集群系统,其特征在于,主机端与NDP设备之间通过以太网交换机进行通信。