欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202210550505X
申请人: 辽东学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种计算机大数据采集处理系统,其特征在于,包括:

数据采集装置接入多个计算机,用于采集多个计算机产生的大数据,并将所述大数据传输至处理装置;

所述处理装置具有:

分类模块,该分类模块用于基于大数据的格式属性将所述大数据进行分类,形成分类数据;

分割模块,将所述分类数据分割成多个数据块;

标签模块,按照分割模块的分割逻辑依次在多个数据块的属性值中写入关联码以形成关联数据块,且关联数据块依据所述关联码进行反向融合成分类数据;

随机配置模块,用于给每一所述关联数据块随机配置第一存储路径,用于将所述关联数据块存储到第一存储路径对应的存储节点中,记录每一所述关联数据块的第一存储路径,将所述第一存储路径对应的所述关联数据块的所述关联码写入映射表中并存储在第一配置单元;

存储模块,该存储模块具有多个异属存储服务器,每一异属存储服务器对应一存储节点;记录每一存储节点的第二存储路径,并存储在第二配置单元中;

所述存储节点与第一存储路径对应,且所述存储节点至少具有第一节点单元、第二节点单元以及检测单元,所述第二节点单元被配置为第一节点单元的子库,当检测单元监测到第一节点单元的占用容量超过设定上限后,触发下推命令将第一节点单元中的所有关联数据块转移至第二节点单元,当第一节点单元和第二节点单元的占用容量都超过设定上限后,则下推失败,需要将第一节点单元和第二节点单元进行合并并进行多路径的归并排序,然后触发转移命令以使存储节点内的关联数据块按照第二路径存储在对应的异属存储服务器中。

2.一种计算机大数据采集处理方法,其特征在于,包括如下步骤:

当计算机具有大数据产生时,数据采集器将不同计算机产生的大数据采集并传输至处理装置,处理装置利用分类模块基于大数据的格式属性将所述大数据进行分类以形成分类数据,然后将所述分类数据按照分割逻辑分割成多个数据块,按照分割逻辑依次在多个数据块的属性值中写入关联码以形成关联数据块,关联数据块形成后采用随机配置模块给每一所述关联数据块随机配置第一存储路径,将所述关联数据块存储到第一存储路径对应的存储节点中,所述存储节点通过其内设置的检测单元获取存储节点的存储状态,所述存储节点与第一存储路径对应,且所述存储节点至少具有第一节点单元、第二节点单元以及检测单元,所述第二节点单元被配置为第一节点单元的子库,当检测单元监测到第一节点单元的占用容量超过设定上限后,触发下推命令将第一节点单元中的所有关联数据块转移至第二节点单元,当第一节点单元和第二节点单元的占用容量都超过设定上限后,则下推失败,需要将第一节点单元和第二节点单元进行合并并进行多路径的归并排序,然后触发转移命令以使存储节点内的关联数据块按照第二路径存储在对应的异属存储服务器中。

3.根据权利要求2所述的计算机大数据采集处理方法,其特征在于,将所述关联数据块存储到第一存储路径对应的存储节点中时,记录每一所述关联数据块的第一存储路径,将所述第一存储路径对应的所述关联数据块的所述关联码写入映射表中并存储在第一配置单元。

4.根据权利要求2所述的计算机大数据采集处理方法,其特征在于,所述关联数据块依据所述关联码进行反向融合后形成对应的分类数据。

5.一种设备,应用在权利要求1所述的计算机大数据采集处理系统中,其特征在于,所述设备具有检索程序,该检索程序通过加载程序以调取第一配置单元和第二配置单元所存储的配置文件;并基于建立的检索索引获取至少一个数据块或者至少一个分类数据;其中,所述分类数据是基于配置文件将关联数据块依据关联码进行反向融合后形成。

6.根据权利要求5所述的设备,其特征在于,所述配置文件为每一所述关联数据块的第一存储路径和每一存储节点的第二存储路径。

7.一种存储介质,包括权利要求5至6任意一项所述的设备,其特征在于,所述存储介质为录制好的检索程序和加载程序。