1.一种监控平台实时数据处理方法,其特征在于,包括:
在数据监控平台下对数据流及其镜像进行采集、存储、计算和显示;通过对数据流进行聚类和统计得出各类的统计特性,当产生新的网络数据流时,基于上述聚类和统计结果实时监控非正常数据流。
2.根据权利要求1所述的方法,其特征在于,所述监控平台包括采集单元、存储单元、计算处理单元和显示单元,
其中所述计算处理单元应用Samza云平台,实时处理数据流并显示网络运行状况,监控和预警安全事件;数据采集单元将分散在网络中各个节点和服务器的日志信息、原始数据流信息、数据包镜像信息进行采集,并且保证采集的数据具有内容可靠性、数据集可扩展性,控制节点可管理性;将系统中分散节点产生的日志信息、数据量信息通过数据采集节点传送到分布式文件存储系统中,并对原始数据进行初步处理,产生适合计算处理单元运算的输入数据,最终存储到分布式文件存储系统中;将路由节点、防火墙节点、服务器节点等能够产生日志和数据镜像的节点作为数据代理,通过架设多个数据采集节点,然后由主控节点协调工作,将数据推送到分布式文件存储系统中,以便计算处理单元对输入数据进行处理;
存储单元包含数据缓存、数据集中存储、数据持久化模块;数据缓存将一部分采集数据直接交付计算处理单元进行数据处理,而不存储在分布式文件存储系统上;所述数据缓存包含消息队列,对数据向计算处理单元进行交付;数据集中存储模块应用分布式文件存储系统对采集到的日志和数据流进行存储,对日志采集系统所采集的数据提取出计算处理单元所需要的数据格式;对于存储的数据采用两种数据存储方式:一种是关系数据库,方便计算处理单元采用结构化查询的方式获取数据;另一种是键值对存储方式,适合分布式计算框架的编程模型。