1.一种HDFS副本再复制改进方法,当元节点检测到数据节点无效时,执行HDFS副本再复制改进方法,其特征在于:包括以下步骤:步骤1:获取失效数据节点上的副本数据块序列;
步骤2:计算副本数据块序列中所有副本数据块的访问热度值,按照访问热度值从大到小对副本数据块进行排序,得到新的副本数据块序列;
步骤3:基于节点负载动态加权评价模型,选取数据节点的复制起点和终点,将新的副本数据块序列中的所有副本数据块依次执行复制;
所述节点负载动态加权评价模型为:
式中,λ为综合权重,Score表示节点负载得分,xi为第i个负载指标,wi(xi)为第i个负载指标的权重:式(7)中,αi为第i个负载指标的区间中间值,σi由 确定。
2.根据权利要求1所述的一种HDFS副本再复制改进方法,其特征在于:所述副本数据块的访问热度值由下式得到:Ht(bj)=αHt‑1(bj)+(1‑α)At(bj), (2)式中,At(bj)为t时刻副本数据块bj的访问请求到达数量,λj为单位时间内到达副本数据块bj的访问请求到达平均数量;
式中,Ht(bj)为t时刻副本数据块bj的访问热度,αHt‑1(bj)为上一个时刻副本数据块bj的访问热度,α为上一时刻访问热度对当前访问热度的影响权重。
3.根据权利要求1所述的一种HDFS副本再复制改进方法,其特征在于:所述节点负载动态加权评价模型的构建步骤为:首先,对负载指标进行标准化处理,所述负载指标包括极小型负载指标和中间型负载指标;
所述极小型负载指标变换公式如下:
式中,ni是变换前的第i个指标,n′i是变换后的标准指标,Mi=max{ni},mi=min{ni};
所述中间型负载指标变换公式如下:
对极小型负载指标和中间型负载指标归一化得到最终的标准化指标n″i:其次,根据负载指标的特征选取动态加权函数,其计算公式:其中,x为负载指标,wi(x)是第i个负载指标的权重,αi为第i个负载指标的区间中间值,σi由 确定;
最后,建立数据节点的负载综合评价模型:
式中,Score表示节点负载得分,λ为综合权重=0.7。
4.根据权利要求1或3所述的一种HDFS副本再复制改进方法,其特征在于:第1个负载指标为磁盘存储利用率,第2个负载指标为I/O特征,第3个负载指标为CPU特征,第4个负载指标为节点相对负载率;
所述磁盘存储利用率为DataNode可用的磁盘空间与该DataNode的磁盘总容量之比;
所述I/O特征为磁盘数据传输速率与吞吐率之比;
所述CPU特征包括静态特征和动态特征,所述动态特征反映CPU繁忙程度,静态特征描述CPU的量化性能;
所述节点相对负载率为节点的存储空间利用率与整个集群的平均磁盘存储利用率之比。
5.根据权利要求1所述的一种HDFS副本再复制改进方法,其特征在于:在步骤3中,选取数据节点的复制起点的步骤为:构造起点待选集合;所述起点待选集合中包括若干包含失效数据块的未失效的数据节点;
根据节点负载动态加权评价模型,计算起点待选集合中所有待选起点的负载得分;
选取负载得分最高的待选起点作为复制起点。
6.根据权利要求1所述的一种HDFS副本再复制改进方法,其特征在于:在步骤3中,选取数据节点的复制终点的步骤为:构造终点待选集合,所述终点待选集合包括若干不包含失效数据块的未失效的数据节点;
根据节点负载动态加权评价模型,计算终点待选集合中所有待选终点的负载得分;
选取负载得分最高的待选终点作为复制终点。