1.一种基于大数据的加油站异常数据监控处理方法,其特征在于,包括:
步骤一,计算负载分配模块获取加油站第一加油数据,生成第一任务,将所述第一任务发送至至少一边缘数据处理器进行边缘计算;
步骤二,使用共享模式设计,在大数据处理中心大数据库中开辟共享数据空间,利用共享数据空间与至少一边缘数据处理器进行数据交互;
所述共享模式设计如下:
第一步,定义数据共享模式的抽象方法,外在模式以及抽象模式操作方法;
第二步,定义数据共享的实现方法,所述实现方法继承所述抽象方法,方法内部定义内部视图状态,并将存储空间分配给内部状态,对内部状态来说空间为透明的,定义外部视图加入内部的外部视图加入方法,并在外部视图加入方法内部封装空间分配方法;
第三步,维护共享空间池,以确保该共享空间池只存放内部状态的数据,若计算负载分配模块或边缘数据处理器向共享数据关联模块请求共享空间时,先遍历共享空间池,寻找是否已有共享空间,如果有直接返回共享空间地址,如果没有新建共享空间加入共享空间池,再返回共享空间地址;
第四步,调用共享数据设计模式,创建共享数据空间;
步骤三,动态监视任务数组中各任务运行状态,获取加油站异常数据,状态监控器模块创建任务池监控边缘数据处理器的工作状态,若任务状态为执行并且运行累计时长超过系统允许的最大阈值,则认为该任务操作过时,将强制性结束任务并重启计算任务,并记录强制结束的任务进行标签标记存储生成第一异常数据;
步骤四,接收至少一边缘数据处理器返回的数据计算子结果集,根据子结果集进行合并运算,将最终结果存储到大数据库中,所述最终结果包括第一异常数据。
2.根据权利要求1所述的方法,其特征在于,所述步骤一具体为,计算负载分配模块根据边缘计算体资源空闲情况进行数据划分,将目标数据划分为至少一数据块,获得数据集,装载子数据集,创建共享空间分配工厂,分配共享数据空间,并反馈空间地址,启动监视任务,开启任务处理,将任务发送至边缘数据处理器,按照资源优化分配的方式,选择空闲的边缘数据处理器进行分配利用边缘计算体进行计算,等待返回计算结果。
3.一种基于大数据的加油站异常数据监控处理系统,其特征在于,包括:
所述系统包括:大数据处理中心,至少一边缘数据处理器;所述大数据处理中心包括计算负载分配模块、共享数据关联模块、合并计算模块、状态监控器模块、大数据库;所述边缘数据处理器包括:边缘计算体模块、访问调度体模块、边缘逻辑层模块、寻址转译器模块、边缘数据库;
计算负载分配模块用于根据边缘计算体资源空闲情况进行数据划分,将目标数据划分为至少一数据块,获得数据集,装载子数据集,创建共享空间分配工厂,分配共享数据空间,并反馈空间地址,启动监视任务,开启任务处理,将任务发送至边缘数据处理器,按照资源优化分配的方式,选择空闲的边缘数据处理器进行分配利用边缘计算体进行计算,等待返回计算结果;
共享数据关联模块用于使用共享模式设计,在大数据处理中心大数据库中开辟共享数据空间,利用共享数据空间与至少一边缘数据处理器进行数据交互;共享数据关联模块的共享模式设计实现流程包括:第一步,定义数据共享模式的抽象方法,外在模式以及抽象模式操作方法;第二步,定义数据共享的实现方法,所述实现方法继承所述抽象方法,方法内部定义内部视图状态,并将存储空间分配给内部状态,对内部状态来说空间为透明的,定义外部视图加入内部的外部视图加入方法,并在外部视图加入方法内部封装空间分配方法;
第三步,维护共享空间池,以确保该共享空间池只存放内部状态的数据,若计算负载分配模块或边缘数据处理器向共享数据关联模块请求共享空间时,先遍历共享空间池,寻找是否已有共享空间,如果有直接返回共享空间地址,如果没有新建共享空间加入共享空间池,再返回共享空间地址;第四步,调用共享数据设计模式,创建共享数据空间;
状态监控器模块动态监视任务数组中各任务运行状态,获取加油站异常数据,状态监控器模块创建任务池监控边缘数据处理器的工作状态,若任务状态为执行并且运行累计时长超过系统允许的最大阈值,则认为该任务操作过时,将强制性结束任务并重启计算任务,并记录强制结束的任务进行标签标记存储生成第一异常数据;
合并计算模块接收至少一边缘数据处理器返回的数据计算子结果集,根据子结果集进行合并运算,将最终结果存储到大数据库中,所述最终结果包括第一异常数据;
边缘计算体模块用于提供边缘计算服务,存储数据计算算法,提供用户输入算法模型,访问调度体定期同步更新边缘计算体中算法,将产生变化的边缘计算体算法模型同步至其他边缘数据处理器中的边缘计算体模块;
访问调度体模块用于接收大数据处理中心传输的分解计算子任务数据信息,将分解计算子任务数据信息发送到寻址转译器,根据解析地址访问边缘数据库,并将数据传输给边缘计算体,访问调度体模块定期同步更新边缘逻辑层模块中业务逻辑模型,将产生变化的业务逻辑模型同步至其他边缘数据处理器中的边缘逻辑层模块;
边缘逻辑层模块用于提供边缘计算的业务逻辑,提供用户输入业务逻辑模型,访问调度体定期同步更新边缘逻辑层模块中业务逻辑模型,将产生变化的业务逻辑模型同步至其他边缘数据处理器中的边缘逻辑层模块;
寻址转移器模块接收访问调度体模块输入地址,根据虚拟内存地址进行解析,获得大数据处理中心内存物理地址,进行信息交互,根据数据地址访问共享数据地址获取数据。