1.一种基于B+树索引归档文件的存取方法,其特征在于,包括以下步骤:S1、文件划分:调用文件过滤器,根据归档文件的大小将其划分为大文件、小文件以及超小文件;
S2、文件合并处理:将所述小文件和所述超小文件发送到文件合并模块进行合并处理,运用文件合并策略将其合并分类为索引文件以及数据文件;所述文件合并策略的具体规则为:S201、调用
S202、基于所述储存阈值将所述小文件合并到所述
S203、随后,记录其在所述
若需合并文件为超小文件,则将超小文件直接加入索引队列index queen中,构成所述索引文件;
S3、构建索引系统:在HDFS文件系统中构建用于存放所述索引文件的所述索引系统,构建所述索引系统的步骤包括:S301、调用Bucket桶用以储存所述索引文件;
S302、将所述小文件按文件大小划分为不同梯度,每个梯度对应不同的所述Bucket桶,并且每个所述Bucket桶的根节点信息均指向一颗三层高的B+树;
S303、针对每个梯度的所述Bucket桶建立唯一标识的桶ID;每个梯度所述Bucket桶的所述根节点信息存放至一个可变长队列Bucket queen;
S304、当每个梯度中任意一个所述Bucket桶存满后,在所述Bucket桶队列末尾插入一个新的所述Bucket桶,用于存放与已存满的所述Bucket桶存放相同大小的所述小文件索引,已存满的所述Bucket桶中存放有指向同类型的新的所述Bucket桶的指针;
S4、文件上传:将所述大文件直接上传至所述HDFS文件系统;
与此同时,将完成合并分类的所述索引文件和所述数据文件上传至所述HDFS文件系统中;
S5、文件索引查询:基于所述索引系统,根据文件大小查询所述小文件信息。
2.根据权利要求1所述的基于B+树索引归档文件的存取方法,其特征在于,所述Bucket桶中的数据以页为单位进行存储。
3.根据权利要求2所述的基于B+树索引归档文件的存取方法,其特征在于,所述页分为:元数据页、空闲列表页、分支节点页和叶子节点页。
4.根据权利要求3所述的基于B+树索引归档文件的存取方法,其特征在于,所述元数据页用于存储所述Bucket桶的所述根节点的信息和与存储相同大小的所述小文件的所述Bucket桶的所述根节点信息、所述空闲列表页的id信息,所述空闲列表页用于存储空闲的页面,所述分支节点页用于存储分支节点元素,所述叶子节点页用于存储叶子节点元素。
5.根据权利要求4所述的基于B+树索引归档文件的存取方法,其特征在于,所述空闲列表页的存储方式分为:存储单个页面和存储连续空闲的页面。
6.根据权利要求5所述的基于B+树索引归档文件的存取方法,其特征在于,所述分支节点元素中只存放叶子节点的索引信息。
7.根据权利要求6所述的基于B+树索引归档文件的存取方法,其特征在于,所述叶子节点元素中存储所述小文件的数据信息,所述数据信息包括:所述小文件的大小信息、所述元数据信息和所述索引信息。
8.根据权利要求7所述的基于B+树索引归档文件的存取方法,其特征在于,所述Bucket桶的前两页存储所述元数据页,第三页存储所述空闲列表页,第四页存储所述分支节点页。
9.根据权利要求8所述的基于B+树索引归档文件的存取方法,其特征在于,在所述步骤S5中,文件索引查询的步骤包括:S501、获取目标小文件的大小信息;
S502、在所述可变长队列Bucket queen中找到存放所述小文件大小类型的所述桶ID;
S503、根据所述桶ID找到对应的所述Bucket桶;
S504、在所述Bucket桶中找到所述小文件数据信息;
S505、获取所述小文件信息;
若查找目标文件为所述超小文件,则直接在所述叶子节点页中获取文件信息。