欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019105148440
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于云计算的电网数据并行处理系统,其特征在于,包括存储客户端、Hadoop系统平台和输出显示端,所述存储客户端包括H-base客户端,所述存储客户端通过以太网接收采集到的数据源,所述数据源通过所述H-base客户端上传到集群中的H-base数据库中;

所述Hadoop系统平台读取所述H-base数据库中的数据并进行数据处理;所述输出显示端将处理好的数据以图表形式显示。

2.根据权利要求1所述的一种基于云计算的电网数据并行处理系统,其特征在于,所述数据源为传感器或监管设备采集到的电网中发电、变电、输电环节的运行数据。

3.根据权利要求1所述的一种基于云计算的电网数据并行处理系统,其特征在于,所述Hadoop系统平台中一台服务器为name-node作为Job-tracker,其他服务器为data-node作为Task-tracker;所述Job-tracker用于启动和调度各任务的执行,并跟踪存储各Task-tracker的任务进度;所述Task-tracker用于执行分布式程序。

4.根据权利要求3所述的一种基于云计算的电网数据并行处理系统,其特征在于,所述分布式程序采用Map-reduce分布式编程模型,所述Map-reduce将数据集分配给集群上的每个节点执行,在工作过程中监测每个节点的运行状况,当节点响应时间超过预设时间点时,主节点会将该节点列入坏死节点的队列中,并将该坏死节点的数据发送给其余节点中处理。

5.根据权利要求1所述的一种基于云计算的电网数据并行处理系统,其特征在于,所述输出显示端包括显示器、web应用和server应用,所述web应用通过所述server应用和所述Hadoop系统平台联信连接,用于执行web应用发来的指令调取Hadoop系统平台的数据以图表形式显示在屏幕上。

6.一种基于云计算的电网数据并行处理系统的处理方法,其特征在于,包括如下步骤:

步骤S1、存储客户端通过以太网接收从电网中采集的数据源,再传输到H-base数据中;

步骤S2、Hadoop系统平台从H-base数据库中读取原始数据,再对原始数据进行噪声识别处理;

步骤S3、系统运行并行计算程序,根据聚类算法计算任意数据间的相关系数以及平均相关系数,平均相关系数从高到低进行排序,选出前k个平均相关系数作为k-means聚类的聚类中心;

步骤S4、聚类结束后,计算k个聚类簇的密度,并判断簇为正常簇、疑似簇还是噪声簇;

步骤S5、若簇为正常簇,则正常输出系统文件,若簇为疑似簇,则对疑似簇的样本集进行数据平滑处理,若簇为噪声簇,则先对噪声簇的样本集进行滤波处理;

步骤S6、输出处理后的疑似簇和噪声簇到系统文件,web应用从系统文件中查找处理后的数据结果,并通过图表的形式呈现在屏幕上。

7.根据权利要求1所述的一种基于云计算的电网数据并行处理系统的处理方法,其特征在于,所述步骤S2中噪声识别处理采用基于相关系数k-means算法,公式为:若D是配电网中采集到的电网数据集,共有n个数据,设每个数据为m维数据,其中xi、xj∈D,rij是xi和xj之间的相关系数, 为数据xi的中心, 为数据xj的中心;

定义聚集簇的密度为:

其中Qt为第t个聚集簇中数据个数,V为以平均相关系数为半径的聚集簇包围球的体积,平均相关系数为 其中i=1,2,...,n;K为平均相关系数最高的前k个数据。

8.根据权利要求1所述的一种基于云计算的电网数据并行处理系统的处理方法,其特征在于,所述步骤S4中,计算k个聚类簇的密度ρt,t=1,2,...,k,当ρt>0.000612时,样本记为正常簇,0.00032<ρt<0.000612时,样本记为疑似簇,ρt<0.00032时,样本记为噪声簇。

9.根据权利要求1所述的一种基于云计算的电网数据并行处理系统的处理方法,其特征在于,所述步骤S5中,若簇为疑似簇,则对疑似簇的样本集进行数据平滑处理,平滑处理采用五点三次数据平滑算法:式中,y-2、y-1、y0、y1、y2是邻近的五个值,y-2、y-1、y0、y1、y2前面的系数是加权系数, 是修正值,起始结尾的两个数据采用 的修正公式处理,其余点用 修正公式。

10.根据权利要求1所述的一种基于云计算的电网数据并行处理系统的处理方法,其特征在于,所述步骤S5中,若簇为噪声簇,则先对噪声簇的样本集进行滤波处理,滤波处理采用中位值滤算法,将每个窗内的最大值和最小值计算出来后,去掉最大值和最小值后平均输出,公式为:其中,q为设定的窗宽大小,设为5,n为数据的长度,xmax、xmin为该窗口内数据的最大值和最小值。