1.一种基于大数据挖掘的高密集图像数据流的分配调度系统,所述分配调度系统连接多个图像源设备;
其特征在于:
所述多个图像源设备各自产生不同密度的至少第一密度图像数据流和第二密度图像数据流;
所述分配调度系统包括至少第一边缘计算设备和第二边缘计算设备,所述第一边缘计算设备和第二边缘计算设备分别内置第一数据挖掘模型和第二数据挖掘模型;
所述分配调度系统接收所述图像源设备产生的多个不同密度的图像数据流,并按照预定时间窗口对所述数据流进行分块得到多个分块数据流,并将所述分块数据流按照时间先后顺序存储到预设大小的边缘计算任务队列中;
所述第一边缘计算设备和第二边缘计算设备从所述预设大小的边缘计算任务队列中获取分块数据流,基于各自的所述数据挖掘模型对所述获取的分块数据流进行处理后,输出处理结果;
获取所述第一边缘计算设备和第二边缘计算得出所述处理结果的当次反馈值,所述分配调度系统基于所述当次反馈值,调节所述预定时间窗口的大小;
其中,如果所述第一边缘计算设备和第二边缘计算设备均处于非空闲状态时,所述边缘计算任务队列处于堵塞状态,则停止对所述数据流进行分块。
2.如权利要求1所述的一种基于大数据挖掘的高密集图像数据流的分配调度系统,其特征在于:获取所述第一边缘计算设备和第二边缘计算得出所述处理结果的当次反馈值S,具体包括:所述反馈值包括第一反馈值D1和第二反馈值D2;
其中,TK为第i个边缘计算设备针对第k个分块数据流得出处理结果的时间;LK为所述第k个分块数据流的大小,Ck为获取所述第k个分块数据流的延迟时间;
则所述处理结果的当次反馈值S=∑Di。
3.如权利要求2所述的一种基于大数据挖掘的高密集图像数据流的分配调度系统,其特征在于:获取所述第一边缘计算设备和第二边缘计算得出所述处理结果的当次反馈值,所述分配调度系统基于所述当次反馈值,调节所述预定时间窗口的大小,具体包括:设当前预定时间窗口大小为X,则调节后的预定时间窗口大小Y按照如下公式计算:其中S’为所述第一边缘计算设备和第二边缘计算得出前次处理结果的前次反馈值。
4.如权利要求1所述的一种基于大数据挖掘的高密集图像数据流的分配调度系统,其特征在于:所述分配调度系统包括至少第一边缘计算设备和第二边缘计算设备,所述第一边缘计算设备和第二边缘计算设备分别内置第一数据挖掘模型和第二数据挖掘模型,具体包括:所述第一数据挖掘模型为基于时间衰减模型的数据流闭合模型;
所述第二数据挖掘模型为基于滑动窗口数据流频繁项集挖掘模型。
5.如权利要求1所述的一种基于大数据挖掘的高密集图像数据流的分配调度系统,其特征在于:所述分配调度系统包括至少第一边缘计算设备和第二边缘计算设备,在所述第一边缘计算设备、第二边缘计算设备与所述预设大小的边缘计算任务队列之间包含有全局存储器,所述全局存储器并行连接多个缓冲队列,所述缓冲队列通过超长字节指令处理器连接至所述第一边缘计算设备、第二边缘计算设备。
6.如权利要求1所述的一种基于大数据挖掘的高密集图像数据流的分配调度系统,其特征在于:如果所述第一边缘计算设备和第二边缘计算设备均处于非空闲状态时,所述边缘计算任务队列处于堵塞状态,则停止对所述数据流进行分块,具体包括:将所述分配调度系统接收的所述图像源设备产生的多个不同密度的图像数据流,发送至远端处理系统。
7.如权利要求6所述的一种基于大数据挖掘的高密集图像数据流的分配调度系统,其特征在于:若所述边缘计算任务队列处于非堵塞状态,则所述分配调度系统接收所述图像源设备产生的多个不同密度的图像数据流,并按照预定时间窗口对所述数据流进行分块得到多个分块数据流。
8.如权利要求1所述的一种基于大数据挖掘的高密集图像数据流的分配调度系统,其特征在于:所述分配调度系统包括N个边缘计算设备;
获取所述N个边缘计算设备计算得出所述处理结果的当次反馈值,具体包括:获取第i个边缘计算设备的反馈系数Di:
其中,TK为第i个边缘计算设备针对第k个分块数据流得出处理结果的时间;LK为所述第k个分块数据流的大小,Ck为获取所述第k个分块数据流的延迟时间;
则所述处理结果的反馈值
9.如权利要求8所述的一种基于大数据挖掘的高密集图像数据流的分配调度系统,其特征在于:所述分配调度系统基于所述当次反馈值,调节所述预定时间窗口的大小,具体包括:设当前预定时间窗口大小为X,则调节后的预定时间窗口大小Y按照如下公式计算:其中S’为所述N个边缘计算设备计算得出前次处理结果的前次反馈值。
10.如权利要求8所述的一种基于大数据挖掘的高密集图像数据流的分配调度系统,其特征在于:如果所述N个边缘计算设备均处于非空闲状态时,所述边缘计算任务队列处于堵塞状态,则停止对所述数据流进行分块,具体包括:将所述分配调度系统接收的所述图像源设备产生的多个不同密度的图像数据流,发送至远端处理系统。