1. 一种面向水文传感器流数据的异常检测方法,其特征在于,在实施异常检测之前首先接收传感器时间序列数据,经过数据清洗后通过Kafka模拟真实情况下传感器数据的传输方式,将数据读入Apache Flink平台,首先对Kafka队列内数据进行反序列化,而后通过Flink提供的水印机制保证消费过程中的数据一致性,最后进行自回归‑孤立森林联合模型的异常检测;
所述自回归‑孤立森林联合模型的异常检测是指,使用自回归预测模型对传感器数据进行预测,通过预测结果与观测值之间的差异程度来决定是否要进入孤立森林检测模型。
2. 根据权利要求1所述的面向水文传感器流数据的异常检测方法,其特征在于,通过Kafka模拟真实情况下传感器数据的传输方式,将数据读入Apache Flink平台,包括如下实现步骤:
步骤11:选用具有相同规格的三台云服务器构成集群,配置标准不得低于Kafka和Flink能够运行的最低配置;
步骤12:在三台云服务器上分别安装Kafka程序,一台服务器为Kafka主机,两台服务器为Kafka从机;
步骤13:将流式计算平台Flink分别安装至三台云服务器,配置Flink执行环境为一台主机负责消息处理和计算任务,两台从机负责计算任务;
步骤14:基于Kafka,实现对不同Flink节点的连接和传感器数据发送,传感器数据发送是指通过Kafka向各个Flink节点插入数据。
3.根据权利要求2所述的面向水文传感器流数据的异常检测方法,其特征在于,基于Kafka,实现对不同Flink节点的连接和传感器数据发送,包括步骤如下:输入:传感器数据,Kafka主题,Kafka分区,Flink连接信息;
输出:Kafka流数据;
步骤141:判断Flink节点类型,并按照集群内网IP地址与端口信息与节点进行连接;
步骤142:当与Flink连接已确认时,从待检测传感器数据中读取数据并初始化,而后按照规定格式输出,即作为生产者生产的待检测传感器数据;
步骤143:首先判断Kafka主题数是否为空;当其不空时,判断主题中分区数;当分区数不为空,并且所需分区数不超过Kafka中的默认分区数量,则将生产的待检测传感器数据按照键值计算分配到不同分区;若暂时不存在Kafka消费者,则将生产的待检测传感器数据临时缓存在Kafka中;待某时刻存在Kafka消费者,则通过Kafka消费者一端的逻辑将生产的待检测传感器数据拆分,以流的形式输出。
4.根据权利要求1所述的面向水文传感器流数据的异常检测方法,其特征在于,对Kafka队列内数据进行反序列化是指:Flink作为消费者,通过Flink提供的水印机制保证消费过程中的数据一致性;检测由Kafka队列生产出的待检测传感器数据的异常值,其中包括设置程序并行度,创建输入格式并设置时间戳水印,以及按不同需求设置计数和计时窗口。
5.根据权利要求4所述的面向水文传感器流数据的异常检测方法,其特征在于,根据云服务器性能和不同的需求设置并行度,如果需求是要最终统计的异常检测结果文件不发生乱序,则设置程序并行度为1,如果需要加快检测速度,则将程序并行度参数设置为与机器核心数量相同;
从Kafka队列内读出的数据并不是Java对象,首先需要将队列内字节流数据反序列化为Java对象流;在对象流中时间戳属性上附加水印;
计数窗口按照对象流中实例数量对流进行窗口化分割,分割关系为每一段固定的数量被划为同一窗口,计时窗口则是按照每一段固定的时间间隔把对象流中实例划分到同一窗口,按照不同的检测需求可设置不同的窗口大小。
6.根据权利要求1所述的面向水文传感器流数据的异常检测方法,其特征在于,进行异常检测之前,需要进行自回归模型与孤立森林的初始化;初始化使用的数据来源于待检测的传感器数据集,所述传感器数据指的是水位数据,自回归模型通过水位值进行初始化;孤立森林通过水位值提取出三维特征数据进行初始化,三维特征包括当前观测到的水位值,与当前观测到的水位值相邻的前后的观测水位均值,以及水位序列的一阶差分;基于三维数据来构建孤立森林模型。
7.根据权利要求4所述的面向水文传感器流数据的异常检测方法,其特征在于,异常检测,包括以下步骤:
(1)在窗口初始化时生成列表用来存储将到达的窗口内的可能被判定为异常的对象;
(2)在窗口内数据连续到达时,执行add函数;add函数内首先使用自回归模型对数据进行单值预测,得到预测值,单值预测,非序列预测,保证预测精度;预测完成后,删除列表首元素并将当前观测值加入自回归模型的训练集;
(3)抽取数据特征,根据流中待检测水位值提取出三维特征数据,三维特征包括当前观测到的水位值,与当前观测到的水位值相邻的前后的观测水位均值,以及水位序列的一阶差分;
(4)根据步骤(2)中预测值生成置信区间,置信区间参数可调;
(5)判断观测值是否处于置信区间内,如果不在置信区间内,将其添加到步骤(1)生成的可疑列表中;
(6)窗口内元素收集结束时,触发getResult函数的执行。
8.根据权利要求7所述的面向水文传感器流数据的异常检测方法,其特征在于,getResult函数的执行包括:(61)首先根据可疑列表大小与窗口大小的比率来确定当前模型是否需要更新,如果该比率过高,则基于当前窗口内元素重新生成预定数量棵树;
(62)生成后并入孤立森林,根据森林中树的数量与判定异常所需数量之间的关系对森林进行优化,即移除那些无法判定异常值的树,判定方式是当前的树能否在4‑5层内就检测出可疑列表中的对象;
(63)优化过程执行完后,所有的树都有获得一个有效性分数,根据该有效性分数进行逆序排序,从森林中移除有效性最低的那一部分;
(64)该窗口检测完毕,将可疑列表置空,以进行下一个窗口的异常检测。