1.一种用于解决海量数据分布式索引集群缓存失效的方法,其特征在于,包括以下步骤:步骤1:对搜索管理器进行筛查,筛选出热点数据;
步骤2:将筛选出来的热点数据进行热点数据的相关度分析,并依照相关度和搜索次数进行综合排序;
步骤3:对搜索器的性能进行分析,计算预热查询花费的预热时间与预热查询带来的时间增益效果的差值,分析设置预热查询语句的设置数目与减少搜索时间的关系;
步骤4:设置预热查询语句,并通过实验寻找最佳预热查询的最佳数目;
步骤5:在不同条件下测试设置最佳预热查询数目带来的时间增益。
2.根据权利要求1所述的用于解决海量数据分布式索引集群缓存失效的方法,其特征在于,所述步骤1包括以下具体步骤:通过搜索管理器统计分布式索引集群的搜索器在工作过程中所查询的数据,获得查询次数排名高的查询词汇,通过将排名高的查询词汇定义为热点数据的方式为后续的缓存预热做数据准备。
3.根据权利要求1所述的用于解决海量数据分布式索引集群缓存失效的方法,其特征在于,所述步骤2包括以下具体步骤:步骤2.1:统计热点数据在匹配文档中出现的次数,计算热点频次;
步骤2.2:统计热点数据的反向文档出现的次数,根据文档频次计算它的逆,从而计算反向文档的频次;
步骤2.3:通过匹配文档的权重、匹配字段的权重及惩罚长文档的长度归一化因子计算字段规范;
步骤2.4:计算查询数据的权重平方和,将之与相关度得分的其余部分相乘,从而实现查询规范化;
步骤2.5:计算热点数据查询时占据匹配总文档的比例,将该比例定义为协调因子,计算协调因子;
步骤2.6:利用步骤2.1至步骤2.5计算得出的热点频次、反向文档频次、字段规范、查询规范化以及协调因子进行热点数据查询时和文档的相关度得分计算;
步骤2.7:根据热点数据的相关度得分和搜索次数进行综合排序。
4.根据权利要求1所述的用于解决海量数据分布式索引集群缓存失效的方法,其特征在于,所述步骤3包括以下具体步骤:步骤3.1:计算设置了预热查询时的热点数据搜索时间;
步骤3.2:计算未设置预热查询时的搜索时间;
步骤3.3:分析预热查询所产生的最大时间收益与预热查询数目之间的关系。
5.根据权利要求4所述的用于解决海量数据分布式索引集群缓存失效的方法,其特征在于,所述步骤3.1包括以下具体步骤:步骤3.1.1:设置的缓存预热查询的数量为 ,进行提交操作时,新索引器的打开和关闭时间,分别为 和 ,系统未命中缓存的查询时间为 ,一条缓存预热查询命中时的查询时间为 ,命中缓存预热查询的概率为 ;
步骤3.1.2:设置了预热查询时的热点数据搜索时间 ,。
6.根据权利要求4所述的用于解决海量数据分布式索引集群缓存失效的方法,其特征在于,所述步骤3.2包括以下具体步骤:步骤3.2.1:未设置缓存查询,进行提交操作时,新索引器的打开和关闭时间,分别为和 ,进行查询时,系统的查询时间为 ;
步骤3.2.2:未设置预热查询时的搜索时间
。
7.根据权利要求4所述的用于解决海量数据分布式索引集群缓存失效的方法,其特征在于,所述步骤3.3包括以下具体步骤:步骤3.3.1:计算设置了预热查询所产生的时间收益 , ,要产生时间收益,即要求 ;
步骤3.3.2:无论是否进行缓存预热查询设计,新缓存器的打开和关闭时间都是一样的即 、 ,且在设计缓存预热查询的情况下,未命中缓存时的查询时间与未设置缓存预热查询的查询时间是相等的,即 ;
步骤3.3.3:由上述条件推导产生时间收益的 的范围为:不等式中, 、 、 以及 都是定值,且未命中缓存的查询时间 ,即不等式右边大于0,即 存在极值,当 不断增加,到达极值点时,时间收益同样会达极值点,当 继续增加时,时间收益会开始减少。
8.根据权利要求1所述的用于解决海量数据分布式索引集群缓存失效的方法,其特征在于,所述步骤4包括以下具体步骤:步骤4.1:不断增加预热查询数目,测试系统不断进行提交操作时,设置预热查询的热点数据的搜索时间;
步骤4.2:寻找查询时间收益开始下降时的n值;
步骤4.3:将此时的n定义为最佳预热查询数目。
9.根据权利要求1所述的用于解决海量数据分布式索引集群缓存失效的方法,其特征在于,所述步骤5包括以下具体步骤:分别测试设置最佳预热查询数目n以及未设置预热查询时,进行提交一次后,单条件查询、多条件查询时热点数据的查询时间,同时分别测试设置最佳预热查询数目n和未设置预热查询时,不断进行提交时,单条件查询、多条件查询的热点数据的查询时间。