1.一种云计算环境下节点异常判断方法,其特征在于:所述方法步骤包括:节点性能数据采集步骤:采集云计算环境下节点的监测数据,提取、存储有效的性能数据;
节点性能数据转换步骤:将有效的性能数据组合成为数据矩阵的统一格式;
节点异常检测模型训练步骤:使用转换后的节点性能数据计算节点数据总贡献率、指标权重数组并训练异常检测模型;
基于性能数据判断节点状态步骤:使用节点异常检测模型对节点状态进行判断,并标记数据;
节点异常检测模型更新步骤:使用标记后的数据更新节点异常检测模型用于基于性能数据判断节点状态步骤。
2.根据权利要求1所述的针对云计算环境下节点异常判断方法,其特征在于:所述节点性能数据采集步骤具体如下:Step1.1、以周期T采集云计算环境下第t个节点的监测数据,t∈[1,l],l为节点个数,然后从监测数据中提取出有效的性能数据PerformanceData,PerformanceData=[x1,x2,...,xn],n为每条性能数据的性能指标个数,xn为第n个性能指标的值,接着执行Step1.2;其中性能指标为云计算环境下节点的CPU、内存、I/O、网络的使用情况;
Step1.2、将第t个节点的性能数据PerformanceData存入二维数组HDataArraym×n中;其中m为第t个节点的性能数据的条数,n为每条性能数据的性能指标个数。
3.根据权利要求2所述的针对云计算环境下节点异常判断方法,其特征在于:所述节点性能数据转换步骤具体如下:Step2.1、设置i=0,执行Step2.2;
Step2.2、判断i<l:如果是,执行Step2.3;否则,执行Step2.7;
Step2.3、i++,执行Step2.4;
Step2.4、获取节点i的二维数组HDataArraym×n,执行Step2.5;
Step2.5、格式化节点i的二维数组HDataArraym×n中每个元素,得到数据矩阵Yi,执行Step2.6;其中,格式化具体为:如果元素为整数,不做变换;如果为元素为小数,小数点后保留3位,最后一位采用四舍五入方式获取;
Step2.6、对数据矩阵Yi每列使用公式(1)进行归一化,得到归一化后的矩阵Normalize_Nodem×n,执行Step2.2;
其中,Normalize_Node[rowi][columni]为归一化矩阵Normalize_Nodem×n的第rowi行columni列元素;Y[rowi][columni]为数据矩阵Yi的第rowi行columni列元素;rowi∈[1,m],columni∈[1,n];maxi为数据矩阵Yi的第columni列所有性能指标的最大值,mini为数据矩阵Yi的第columni列所有性能指标的最小值:Step2.7、将l个节点归一化后矩阵Normalize_Nodem×n转换成统一的数据矩阵格式得到矩阵Normalize_Nodesl×m×n=[X1 X2 ... Xl],执行Step3;
其中,Xl表示第l个节点的归一化矩阵。
4.根据权利要求3所述的针对云计算环境下节点异常判断方法,其特征在于:所述节点异常检测模型训练步骤具体如下:Step3.1、获取归一化矩阵Normalize_Nodesl×m×n;初始化:异常检测模型AnomalyModelSet=null,j=0,k=0,执行Step3.2;
Step3.2、判断j<l:如果是,执行Step3.3;否则,执行Step3.11;
Step3.3、j++,执行Step3.4;
Step3.4、判断k<n:如果是,执行Step3.5;否则,执行Step3.7;
Step3.5、k++,执行Step3.6;
j
Step3.6、使用DBSCAN算法对第j个节点数据矩阵Y的第k列数据进行训练,选出其中核心点和边缘点并去重后存入AnomalyModelSet[k]中,执行Step3.4;
Step3.7、使用公式(2)、(3)对矩阵Normalize_Nodesl×m×n中第j个节点归一化矩阵Xj进行列零均值计算得到零均值矩阵zeroMeanMatrixm×n,执行Step3.8;
zeroMeanMatrix[rowj][columnj]=X[rowj][columnj]-Q[columnj] (2)其中,zeroMeanMatrix[rowj][columnj]为zeroMeanMatrixm×n中第[rowj]行[columnj]列的值,rowj∈[1,m];X[rowj][columnj]为Xj中第[rowj]行[columnj]列的值;Q[columnj]为Xj第[columnj]列的平均值,columnj∈[1,n];
Step3.8、使用公式(4)计算矩阵zeroMeanMatrixm×n的协方差矩阵covarianceMatrixn×n,执行Step3.9;
covarianceMatrixn×n=zeroMeanMatrixm×nT*zeroMeanMatrixm×n (4)其中,矩阵zeroMeanMatrixm×nT为矩阵zeroMeanMatrixm×n的转置矩阵;
Step3.9、使用雅可比方法计算covarianceMatrixn×n的特征值矩阵eigenvalueMatrixn×n,执行Step3.10;
Step3.10、使用公式(5)、(6)计算矩阵eigenvalueMatrixn×n的指标权重数组weightArray[v],执行Step3.2;
其中,λv表示第v个性能指标的特征值,该值是矩阵eigenvalueMatrixn×n的主对角线中第v个元素的值;count(v)表示第v个性能指标的指标权重,即方差贡献率,该值所能解释的信息占总的信息量的百分比,该值的大小,决定该指标在节点数据中的重要程度;D(j)表示第j个节点数据的方差;
Step3.11、使用公式(5)、(7)计算l个节点的数据总贡献率NodePer_now=[total(1),total(2),...,total(j),...,total(l)],并将其存入矩阵NodePerArrayb×l中,执行Step4;
其中,total(j)表示第j个节点的数据总贡献率,在所有节点中该节点所占的百分比,该值越大表示节点波动越大,越容易出现异常;其中b为每个节点贡献率的样本数且b≥2。
5.根据权利要求4所述的针对云计算环境下节点异常判断方法,其特征在于:所述基于性能数据判断节点状态步骤具体如下:Step4.1、获取节点的数据总贡献率二维数组NodePerArrayb×l,初始化:p=0,执行Step4.2;
Step4.2、判断p<l:如果是,执行Step4.3;否则,执行Step5;
Step4.3、p++,执行Step4.4;
Step4.4、NodePerArrayb×l中第b行第p列元素是否大于b-1行第p列元素:如果是,执行Step4.5;否则,执行Step4.2;
Step4.5、获取第p个节点的异常检测模型AnomalyModelSet[1],AnomalyModelSet[2],...,AnomalyModelSet[n],第p个节点的指标权重数组weightArray[v],初始化:异常特征模型AnomalyArray=null,q=0,outlierNum=0,执行Step4.6;
Step4.6、判断q<m:如果是,执行Step4.7;否则,执行Step4.19;
Step4.7、q++,执行Step4.8;
Step4.8、判断当前节点p的第q条数据是否在异常特征模型AnomalyArray中,分别计算第q条数据和异常特征模型AnomalyArray中每条数据的曼哈顿距离,如果曼哈顿距离小于Sim,则说明第q条数据在异常特征模型AnomalyArray中:如果是,则执行Step4.18;否则,执行Step4.9;其中,Sim为曼哈顿距离阈值,第q条数据为根据步骤Step1、Step2获取的Step2.5格式的新数据;
Step4.9、令s=0,执行Step4.10;
Step4.10、判断s<n:如果是,执行Step4.11;否则,执行Step4.13;
Step4.11、s++,执行Step4.12;
Step4.12、使用公式(8)计算第q条数据的第s个性能指标与AnomalyModelSet[s]中元素的距离,从dist(num)中选取最小值并存入存入数组mindist(s)中,执行Step4.10;
其中,AnomalyModelSet[s]中共有tolalnum个元素,S为第q条数据中第s个性能指标的值,E[num]为AnomalyModelSet[s]中第num个元素的值,num∈[1,totalnum],dist(num)为第s个性能指标与第num个元素的距离;
Step4.13、使用公式(9)计算数据的综合评分com_score,执行Step4.14;
Step4.14、判断com_score<Nthreshold:如果是,执行Step4.15;否则,执行Step4.17;
其中,Nthreshold为异常数据的阈值,该条数据的综合评分超过此值则认为此条数据是异常数据;
Step4.15、将当前节点p的第q条数据标记为正常数据,执行Step4.16;
Step4.16、将当前节点p的第q条数据存入数组DataArray中,执行Step4.6;
Step4.17、将当前节点p的第q条数据存入异常特征模型AnomalyArray中,执行Step4.18;
Step4.18、将当前节点p的第q条数据标记为异常数据,outlierNum++,执行Step4.16;
Step4.19、判断outlierNum<Qthreshold:如果是,执行Step4.2;否则执行Step4.20;
其中,Qthreshold为异常节点的阈值,当一定时间周期内异常数据的个数超过此值则认为节点是异常节点;
Step4.20、将第p个节点标记为异常节点,则执行Step4.2。
6.根据权利要求5所述的针对云计算环境下节点异常判断方法,其特征在于:所述节点异常检测模型更新步骤具体如下:Step5.1、当前节点nowNode=0,执行Step5.2;;
Step5.2、判断NowNode<l:如果是,则执行Step5.3;否则,执行Step1、Step3、Step4或者结束;
Step5.3、NowNode++,执行Step5.4;
Step5.4、定义滑动时间窗口长度为U_num,r=0,w=0;获取节点NowNode滑动时间窗口内为数据U_datamodel、U_data,U_datamodel为训练异常检测模型的数据,U_data为计算指标权重的数据;异常检测模型AnomalyModelSet[1],AnomalyModelSet[2],...,AnomalyModelSet[n];U_datamodel内数据的长度seq_modelcount,U_data内数据的长度seq_count,执行Step5.5;
Step5.5、获取当前节点nowNode标记后数据DataArray[u],其中u为DataArray[u]中存储的性能数据条数,执行Step5.6;
Step5.6、判断w<u:如果是,则执行Step5.7;否则,执行Step5.2;
Step5.7、w++,执行Step5.8;
Step5.8、判断DataArray[u]中第w行数据是否被标记为异常数据:如果是,执行Step5.9;否则,执行Step5.16;
Step5.9、判断U_data内数据的长度seq_count<U_num:如果是,则执行Step5.10;否则,执行Step5.11;
Step5.10、seq_count++,向滑动时间窗口内数据U_data的第seq_count个位置加入DataArray[u]中第w行数据,执行Step5.6;
Step5.11、采用先进先出的原则更新滑动时间窗口U_data中的数据,执行Step5.12;
Step5.12、使用公式(2)、(3)对U_data进行零均值计算得到零均值矩阵UzeroMeanMatrixU_num×n,其中U_num为滑动时间窗口长度,n为每条性能数据的性能指标个数,执行Step5.13;
Step5.13、使用公式(4)计算矩阵UzeroMeanMatrixU_num×n的协方差矩阵UcovarianceMatrixn×n,执行Step5.14;
Step5.14、使用雅可比方法计算计算UcovarianceMatrixn×n的特征值矩阵UeigenvalueMatrixn×n,执行Step5.15;
Step5.15、使用公式(5)、(6)计算矩阵UeigenvalueMatrixn×n的指标权重数组weightArray[v]用于传至Step4.5,执行Step5.6;
Step5.16、判断r=0:如果是,执行Step5.17;否则,执行Step5.20;
Step5.17、判断U_datamodel内数据的长度seq_modelcount<U_num:如果是,则执行Step5.18;否则,执行Step5.21;
Step5.18、seq_modelcount++,向滑动时间窗口内数据U_datamodel的第seq_modelcount个位置加入DataArray[u]中第w行数据,执行Step5.19;
Step5.19、r++,执行Step5.16;
Step5.20、令r=0,执行Step5.9;
Step5.21、采用先进先出的原则更新滑动时间窗口U_datamodel中的数据,执行Step5.22;
Step5.22、使用DBSCAN算法对U_datamodel每列数据进行训练,选出其中核心点和边缘点作为异常检测模型并存入对应列的AnomalyModelSet[1],AnomalyModelSet[2],...,AnomalyModelSet[n]中用于传至Step4.5,执行Step5.6。