欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021113477288
申请人: 长沙理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于B+树索引归档文件的存取方法,其特征在于,包括以下步骤:S1、文件划分:调用文件过滤器,根据归档文件的大小将其划分为大文件、小文件以及超小文件;

S2、文件合并处理:将所述小文件和所述超小文件发送到文件合并模块进行合并处理,运用文件合并策略将其合并分类为索引文件以及数据文件;所述文件合并策略的具体规则为:S201、调用

S202、基于所述储存阈值将所述小文件合并到所述

S203、随后,记录其在所述

若需合并文件为超小文件,则将超小文件直接加入索引队列index queen中,构成所述索引文件;

S3、构建索引系统:在HDFS文件系统中构建用于存放所述索引文件的所述索引系统,构建所述索引系统的步骤包括:S301、调用Bucket桶用以储存所述索引文件;

S302、将所述小文件按文件大小划分为不同梯度,每个梯度对应不同的所述Bucket桶,并且每个所述Bucket桶的根节点信息均指向一颗三层高的B+树;

S303、针对每个梯度的所述Bucket桶建立唯一标识的桶ID;每个梯度所述Bucket桶的所述根节点信息存放至一个可变长队列Bucket queen;

S304、当每个梯度中任意一个所述Bucket桶存满后,在所述Bucket桶队列末尾插入一个新的所述Bucket桶,用于存放与已存满的所述Bucket桶存放相同大小的所述小文件索引,已存满的所述Bucket桶中存放有指向同类型的新的所述Bucket桶的指针;

S4、文件上传:将所述大文件直接上传至所述HDFS文件系统;

与此同时,将完成合并分类的所述索引文件和所述数据文件上传至所述HDFS文件系统中;

S5、文件索引查询:基于所述索引系统,根据文件大小查询所述小文件信息。

2.根据权利要求1所述的基于B+树索引归档文件的存取方法,其特征在于,所述Bucket桶中的数据以页为单位进行存储。

3.根据权利要求2所述的基于B+树索引归档文件的存取方法,其特征在于,所述页分为:元数据页、空闲列表页、分支节点页和叶子节点页。

4.根据权利要求3所述的基于B+树索引归档文件的存取方法,其特征在于,所述元数据页用于存储所述Bucket桶的所述根节点的信息和与存储相同大小的所述小文件的所述Bucket桶的所述根节点信息、所述空闲列表页的id信息,所述空闲列表页用于存储空闲的页面,所述分支节点页用于存储分支节点元素,所述叶子节点页用于存储叶子节点元素。

5.根据权利要求4所述的基于B+树索引归档文件的存取方法,其特征在于,所述空闲列表页的存储方式分为:存储单个页面和存储连续空闲的页面。

6.根据权利要求5所述的基于B+树索引归档文件的存取方法,其特征在于,所述分支节点元素中只存放叶子节点的索引信息。

7.根据权利要求6所述的基于B+树索引归档文件的存取方法,其特征在于,所述叶子节点元素中存储所述小文件的数据信息,所述数据信息包括:所述小文件的大小信息、所述元数据信息和所述索引信息。

8.根据权利要求7所述的基于B+树索引归档文件的存取方法,其特征在于,所述Bucket桶的前两页存储所述元数据页,第三页存储所述空闲列表页,第四页存储所述分支节点页。

9.根据权利要求8所述的基于B+树索引归档文件的存取方法,其特征在于,在所述步骤S5中,文件索引查询的步骤包括:S501、获取目标小文件的大小信息;

S502、在所述可变长队列Bucket queen中找到存放所述小文件大小类型的所述桶ID;

S503、根据所述桶ID找到对应的所述Bucket桶;

S504、在所述Bucket桶中找到所述小文件数据信息;

S505、获取所述小文件信息;

若查找目标文件为所述超小文件,则直接在所述叶子节点页中获取文件信息。