1.一种流式大数据平台数据实时处理方法,其特征在于,所述方法包括以下步骤:
步骤1,由用户输入业务的关键时间点以及指定的延时时间,在流式大数据平台启动后,创建一个栈;
步骤3,当一个数据达到所述流式大数据平台时,若当前数据的Event Time比上一个数据的Event Time小,则计算当前数据的Event Time与当前时间的时间差,构建包括数据来源、所述时间差、是否被丢弃、Event Time的结构体,并将所述结构体入栈,每隔M个时间窗口计算所述栈中时间差的和,并将栈中数据全部出栈;
步骤5,若接来下的M个时间窗口包括所述关键时间点,且所述结构体的个数小于预设值,则将延时时间设置为0;否则,根据所述时间差的和以及所述指定的延时时间得到接下来的M个时间窗口范围内的延时时间;其中,延时时间用于与Event Time计算得到WaterMark,M为正整数。
2.如权利要求1所述的方法,其特征在于,所述根据所述时间差的和以及所述指定的延时时间得到接下来的M个时间窗口范围内的延时时间,具体为:根据所述时间差的和确定延时时间的权重;
若接来下的M个时间窗口包括所述关键时间点,且所述结构体的个数不小于预设值,则取所述权重和0.5的最小值作为权重系数,将所述权重系数与所述指定的延时时间的乘积作为新的延时时间;
若接来下的M个时间窗口不包括所述关键时间点,则将所述权重作为权重系数,将所述权重系数与所述指定的延时时间的乘积作为新的延时时间。
3.如权利要求2所述的方法,其特征在于,所述根据所述时间差的和确定延时时间的权重,具体为:设置多个区间,每个区间对应一个权重,判断所述时间差的和落入的区间,根据落入的区间得到权重。
4.如权利要求1所述的方法,其特征在于,在步骤2和步骤4之间,还包括步骤4;
步骤4:每次将栈中结构体全部出栈时,对所述结构体解析,得到数据来源、所述时间差、是否被丢弃、Event Time,将解析后的数据作为一条记录存入一个独立节点的数据库中;在达到所述关键时间点时,所述独立节点根据存入数据库的数据对上一个关键时间点的流式大数据平台的结果进行修正。
5.如权利要求4所述的方法,其特征在于,所述所述独立节点根据存入数据库的数据对上一个关键时间点的流式大数据平台的结果进行修正,具体为:获取Event Time在上一个关键时间点和上上一个关键时间点之间的数据库记录,基于所述数据库记录和所述上一个关键时间点的结果得到修正后的结果。
6.如权利要求4所述的方法,其特征在于,所述独立节点还用于统计所述数据库中的存储的出栈的数据中的所述数据来源,并发出提示信息。
7.一种流式大数据平台数据实时处理系统,其特征在于,所述系统包括以下模块:
参数输入模块,用于由用户输入业务的关键时间点以及指定的延时时间,在流式大数据平台启动后,创建一个栈;
统计模块,用于当一个数据达到所述流式大数据平台时,若当前数据的Event Time比上一个数据的Event Time小,则计算当前数据的Event Time与当前时间的时间差,构建包括数据来源、所述时间差、是否被丢弃、Event Time的结构体,并将所述结构体入栈,每隔M个时间窗口计算所述栈中时间差的和,并将栈中数据全部出栈;
延时时间计算模块,若接来下的M个时间窗口包括所述关键时间点,且所述结构体的个数小于预设值,则将延时时间设置为0;否则,根据所述时间差的和以及所述指定的延时时间得到接下来的M个时间窗口范围内的延时时间;其中,延时时间用于与Event Time计算得到WaterMark,M为正整数。
8.如权利要求7所述的系统,其特征在于,所述根据所述时间差的和以及所述指定的延时时间得到接下来的M个时间窗口范围内的延时时间,具体为:根据所述时间差的和确定延时时间的权重;
若接来下的M个时间窗口包括所述关键时间点,且所述结构体的个数不小于预设值,则取所述权重和0.5的最小值作为权重系数,将所述权重系数与所述指定的延时时间的乘积作为新的延时时间;
若接来下的M个时间窗口不包括所述关键时间点,则将所述权重作为权重系数,将所述权重系数与所述指定的延时时间的乘积作为新的延时时间。
9.如权利要求7所述的方法,其特征在于,在统计模块和延时时间计算模块之间,还包括修正模块;
修正模块,用于每次将栈中结构体全部出栈时,对所述结构体解析,得到数据来源、所述时间差、是否被丢弃、Event Time,将解析后的数据作为一条记录存入一个独立节点的数据库中;在达到所述关键时间点时,所述独立节点根据存入数据库的数据对上一个关键时间点的流式大数据平台的结果进行修正。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行如权利要求1‑6任一项所述的方法。